Search

JP-2026077821-A - ビデオ・コーディングにおける混合ＮＡＬユニット・ピクチャ制約

JP2026077821AJP 2026077821 AJP2026077821 AJP 2026077821AJP-2026077821-A

Abstract

【課題】ビデオ・コーディング・メカニズムが開示される。 【解決手段】本メカニズムは、同じＮＡＬユニット・タイプを有さない複数のビデオ・コーディング・レイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットを含む現在のピクチャを含むビットストリームを受信することを含む。参照ピクチャ・リストのアクティブ・エントリは、復号順序において、現在のピクチャの後続のピクチャにおけるサブピクチャＡ（ｓｕｂｐｉｃＡ）に位置付けられたスライスに対して取得される。アクティブ・エントリは、現在のピクチャでの前記ｓｕｂｐｉｃＡがイントラ・ランダム・アクセス・ポイント（ＩＲＡＰ）ＮＡＬユニット・タイプに関連するときに、復号順序において、現在のピクチャに先行するいかなる参照ピクチャも参照しない。後続のピクチャは、参照ピクチャ・リスト・アクティブ・エントリに基づいて復号される。後続のピクチャは、復号されたビデオ・シーケンスの一部として表示するために転送される。 【選択図】図１０

Inventors

  • ワーン，イエ－クイ
  • ヘンドリー，フヌ

Assignees

  • 華為技術有限公司

Dates

Publication Date
20260513
Application Date
20260218
Priority Date
20190708

Claims (19)

  1. ビットストリームを復号するための方法であって、 前記ビットストリームを受信することを含み、前記ビットストリームは、シーケンス・パラメータ・セット（ＳＰＳ）と、ピクチャ・パラメータ・セット（ＰＰＳ）と、複数のピクチャのコーディングされたデータと、を含み、前記複数のピクチャは、イントラ・ランダム・アクセス・ポイント（ＩＲＡＰ）ピクチャと、非ＩＲＡＰピクチャと、混合ネットワーク抽象化レイヤ（ＮＡＬ）ユニット・タイプを含む混合ピクチャと、を含み、前記複数のピクチャのうちの１つ以上は、１つ以上のサブピクチャに分割されており、前記１つ以上のサブピクチャのサブピクチャ識別子（ＩＤ）は、前記ＳＰＳにおいて明示的に指定されており、 前記ＰＰＳは、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇを含み、前記混合ピクチャに関連する前記ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは、１に等しく、 前記混合ピクチャは、ＩＲＡＰ ＮＡＬユニット・タイプに関連する第１のサブピクチャと、非ＩＲＡＰ ＮＡＬユニット・タイプに関連する第２のサブピクチャと、を含み、 現在のサブピクチャが前記第１のサブピクチャの後であるときに、前記現在のサブピクチャに対する参照ピクチャ・リストのアクティブ・エントリは、復号順序において前記混合ピクチャに先行するいかなる参照ピクチャへの参照も含まない、方法。
  2. 前記ＩＲＡＰ ＮＡＬユニット・タイプは、クリーン・ランダム・アクセス（ＣＲＡ）ＮＡＬユニット・タイプである、請求項１に記載の方法。
  3. 前記ＩＲＡＰ ＮＡＬユニット・タイプは、瞬間復号器リフレッシュ（ＩＤＲ）ＮＡＬユニット・タイプである、請求項１に記載の方法。
  4. 前記第１のサブピクチャのすべてのスライスは、同じＮＡＬユニット・タイプに関連する、請求項１～３のいずれか一項に記載の方法。
  5. 前記ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇが１に等しいことは、前記ＰＰＳを参照する各ピクチャが複数のＶＣＬ ＮＡＬユニットを有し、前記ＶＣＬ ＮＡＬユニットは、同じ値のＮＡＬユニット・タイプを有しない、請求項１～４のいずれか一項に記載の方法。
  6. 前記ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇが０に等しいことは、前記混合ピクチャのすべてのＶＣＬ ＮＡＬユニットが、同じＮＡＬユニット・タイプを有することを指定する、請求項１～５のいずれか一項に記載の方法。
  7. 前記混合ピクチャにおける前記第２のサブピクチャは、非ＩＲＡＰ ＮＡＬユニット・タイプに関連する、請求項１～６のいずれか一項に記載の方法。
  8. ビットストリームを符号化するための方法であって、 シーケンス・パラメータ・セット（ＳＰＳ）と、ピクチャ・パラメータ・セット（ＰＰＳ）と、複数のピクチャを前記ビットストリームに符号化することであって、前記複数のピクチャは、イントラ・ランダム・アクセス・ポイント（ＩＲＡＰ）ピクチャと、非ＩＲＡＰピクチャと、混合ネットワーク抽象化レイヤ（ＮＡＬ）ユニット・タイプを含む混合ピクチャと、を含み、前記複数のピクチャのうちの１つ以上は、１つ以上のサブピクチャに分割される、ことと、 前記１つ以上のサブピクチャのサブピクチャ識別子（ＩＤ）を前記ＳＰＳに符号化することと、 ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇを前記ＰＰＳに符号化することであって、前記混合ピクチャに関連する前記ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは、１に等しい、ことと、を含み、 前記混合ピクチャは、ＩＲＡＰ ＮＡＬユニット・タイプに関連する第１のサブピクチャと、非ＩＲＡＰ ＮＡＬユニット・タイプに関連する第２のサブピクチャと、を含み、 現在のサブピクチャが前記第１のサブピクチャの後であるときに、前記現在のサブピクチャに対する参照ピクチャ・リストのアクティブ・エントリは、復号順序において前記混合ピクチャに先行するいかなる参照ピクチャへの参照も含まない、方法。
  9. 前記ＩＲＡＰ ＮＡＬユニット・タイプは、クリーン・ランダム・アクセス（ＣＲＡ）ＮＡＬユニット・タイプである、請求項８に記載の方法。
  10. 前記ＩＲＡＰ ＮＡＬユニット・タイプは、瞬間復号器リフレッシュ（ＩＤＲ）ＮＡＬユニット・タイプである、請求項８に記載の方法。
  11. 前記第１のサブピクチャのすべてのスライスは、同じＮＡＬユニット・タイプに関連する、請求項８～１０のいずれか一項に記載の方法。
  12. 前記ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇが１に等しいことは、前記ＰＰＳを参照する各ピクチャが複数のＶＣＬ ＮＡＬユニットを有し、前記ＶＣＬ ＮＡＬユニットは、同じ値のＮＡＬユニット・タイプを有しない、請求項８～１１のいずれか一項に記載の方法。
  13. 前記ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇが０に等しいことは、前記混合ピクチャのすべてのＶＣＬ ＮＡＬユニットが、同じＮＡＬユニット・タイプを有することを指定する、請求項８～１２のいずれか一項に記載の方法。
  14. 前記混合ピクチャにおける前記第２のサブピクチャは、非ＩＲＡＰ ＮＡＬユニット・タイプに関連する、請求項８～１３のいずれか一項に記載の方法。
  15. ビデオ・コーディング・デバイスであって、 プロセッサと、前記プロセッサに結合された受信機と、前記プロセッサに結合されたメモリと、前記プロセッサに結合された送信機と、を含み、前記プロセッサ、前記受信機、前記メモリ、及び前記送信機は、請求項１～１４のいずれか一項に記載の方法を実行するように構成されている、ビデオ・コーディング・デバイス。
  16. ビデオ・コーディング・デバイスによる使用のためのコンピュータ・プログラム製品を含む非一時的コンピュータ可読媒体であって、前記コンピュータ・プログラム製品は、プロセッサによって実行されるときに、前記ビデオ・コーディング・デバイスが請求項１～１４のいずれか一項の方法を実行するように、前記非一時的コンピュータ可読媒体に記憶されたコンピュータ実行可能命令を含む、非一時的コンピュータ可読媒体。
  17. 復号器であって、 １つ以上のプロセッサと、 前記プロセッサに結合され、前記プロセッサによる実行のためのプログラムを記憶する非一時的コンピュータ可読記憶媒体と、を含み、前記プログラムは、前記プロセッサによって実行されるときに、請求項１～７のいずれか一項に記載の方法を実施するように前記復号器を構成する、復号器。
  18. 符号化器であって、 １つ以上のプロセッサと、 前記プロセッサに結合され、前記プロセッサによる実行のためのプログラムを記憶する非一時的コンピュータ可読記憶媒体と、を含み、前記プログラムは、前記プロセッサによって実行されるときに、請求項８～１４のいずれか一項に記載の方法を実施するように前記符号化器を構成する、符号化器。
  19. ビットストリームを記憶及び送信するためのデバイスであって、受信機と、プロセッサと、送信機と、記憶媒体と、を含み、前記受信機は、ビットストリームを受信するように構成されており、前記記憶媒体は、前記ビットストリームを記憶するように構成されており、前記送信機は、前記ビットストリームを送信するように構成されており、 前記ビットストリームは、シーケンス・パラメータ・セット（ＳＰＳ）と、ピクチャ・パラメータ・セット（ＰＰＳ）と、複数のピクチャのコーディングされたデータと、を含み、前記複数のピクチャは、イントラ・ランダム・アクセス・ポイント（ＩＲＡＰ）ピクチャと、非ＩＲＡＰピクチャと、混合ネットワーク抽象化レイヤ（ＮＡＬ）ユニット・タイプを含む混合ピクチャと、を含み、前記複数のピクチャのうちの１つ以上は、１つ以上のサブピクチャに分割されており、前記１つ以上のサブピクチャのサブピクチャ識別子（ＩＤ）は、前記ＳＰＳにおいて明示的に指定されており、 前記ＰＰＳは、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇを含み、前記混合ピクチャに関連する前記ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは、１に等しく、 前記混合ピクチャは、ＩＲＡＰ ＮＡＬユニット・タイプに関連する第１のサブピクチャと、非ＩＲＡＰ ＮＡＬユニット・タイプに関連する第２のサブピクチャと、を含み、 前記プロセッサは、前記第１のサブピクチャの後の現在のサブピクチャに対する参照ピクチャ・リストのアクティブ・エントリを取得し、前記現在のサブピクチャに対する前記参照ピクチャ・リストの前記アクティブ・エントリは、復号順序において前記混合ピクチャに先行するいかなる参照ピクチャへの参照も含まない、デバイス。

Description

この特許出願は、Ｙｅ－Ｋｕｉ Ｗａｎｇにより２０１９年７月８日に出願され、参照により本明細書に組み込まれている「Ｃｏｎｓｔｒａｉｎｔｓ ｆｏｒ Ｍｉｘｅｄ ＮＡＬ Ｕｎｉｔ Ｔｙｐｅｓ ｗｉｔｈｉｎ Ｏｎｅ Ｐｉｃｔｕｒｅ ｉｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」と題された米国仮特許出願第６２／８７１，５２４号の利益を主張する。 本開示は、一般に、ビデオ・コーディングに関係し、特に、ビデオ・コーディングにおけるピクチャのサブピクチャのコーディングに関係する。 比較的短いビデオでさえ描写するために必要とされるビデオ・データの量は、相当なものであり、これは、データがストリーム化されるか、又は他の方法で限定された帯域幅容量を有する通信ネットワークを介して通信されるときに、困難になることがある。したがって、ビデオ・データは、一般に、現代の電気通信ネットワークを介して通信される前に圧縮される。また、メモリ・リソースが制限されることがあるため、ビデオが記憶デバイスに記憶される場合に、ビデオのサイズも問題となる可能性がある。ビデオ圧縮デバイスは、しばしば、伝送又は記憶の前にビデオ・データをコーディングするためにソースにおいてソフトウェア及び／又はハードウェアを使用し、それによってデジタル・ビデオピクチャを表すのに必要なデータ量を減少させる。次いで、圧縮されたデータは、ビデオ・データを復号するビデオ解凍デバイスによって宛先で受信される。ネットワーク・リソースが限られており、より高いビデオ品質の要求が絶えず増加しているため、ピクチャ品質にほとんど犠牲を払わずに圧縮比を改善する改善された圧縮及び解凍技術が望ましい。 一実施形態では、本開示は、復号器において実装される方法であって、復号器の受信機によって、同じネットワーク抽象化レイヤ（ＮＡＬ）ユニット・タイプを有さない複数のビデオ・コーディング・レイヤ（ＶＣＬ）ＮＡＬユニットを含む現在のピクチャを含むビットストリームを受信することと、復号器のプロセッサによって、復号順序において、現在のピクチャの後の後続のピクチャにおけるサブピクチャＡ（ｓｕｂｐｉｃＡ）に位置付けられたスライスに対する参照ピクチャ・リストのアクティブ・エントリを取得することであって、アクティブ・エントリは、現在のピクチャでのｓｕｂｐｉｃＡがイントラ・ランダム・アクセス・ポイント（ＩＲＡＰ）ＮＡＬユニット・タイプに関連するときに、復号順序において、現在のピクチャに先行するいかなる参照ピクチャへの参照も含まない、取得することと、プロセッサによって、参照ピクチャ・リスト・アクティブ・エントリに基づいて後続のピクチャを復号することと、プロセッサによって、復号されたビデオ・シーケンスの一部として表示するために後続のピクチャを転送することと、を含む、方法を含む。 ビデオ・コーディング・システムは、ＩＲＡＰピクチャ及び非ＩＲＡＰピクチャを使用することによってビデオを符号化してもよい。ＩＲＡＰピクチャは、ビデオ・シーケンスのランダム・アクセス・ポイントとして機能するイントラ予測に従ってコーディングされたピクチャである。ＩＲＡＰピクチャは、最初に任意の他のピクチャを復号することなく復号することができる。したがって、復号器は、任意のＩＲＡＰピクチャでビデオ・シーケンスの復号を始めることができる。対照的に、復号器は、一般に、非ＩＲＡＰピクチャでビデオ・シーケンスの復号を始めることができない。ＩＲＡＰピクチャは、ＤＰＢをリフレッシュすることもある。これは、ＩＲＡＰピクチャがコーディングされたビデオ・シーケンス（ＣＶＳ）の開始点として作用し、ＣＶＳ内のピクチャが以前のＣＶＳ内のピクチャを参照しないためである。このように、ＩＲＡＰピクチャはまた、インター予測チェーンを壊し／停止し、インター予測関係のコーディング・エラーを停止することができる。これは、このようなエラーがＩＲＡＰピクチャを介して伝播することができないためである。 いくつかのケースでは、ビデオ・コーディング・システムを使用して、仮想現実（ＶＲ）ビデオをコーディングしてもよい。ＶＲビデオは、ユーザが球の中心にいるかのように表示されたビデオ・コンテンツの球を含み得る。ビューポートと呼ばれる球体の一部分のみがユーザに表示される。ピクチャの残りの部分はレンダリングされずに破棄される。ピクチャ全体は、一般に、ユーザのヘッドの動きに応答して、異なるビューポートが動的に選択され、表示することができるように送信される。このアプローチは、非常に大きいビデオ・ファイル・サイズをもたらすことがある。コーディング効率を改善するために、いくつかのシステムは、ピクチャをサブピクチャに分割する。ビデオは、２つ以上の解像度で符号化することができる。各解像度は、サブピクチャに対応するサブビットストリームの異なるセットに符号化される。ユーザがＶＲビデオをストリーミングするときに、コーディング・システムは、サブビットストリームを、ユーザによって使用されている現在のビューポートに基づく伝送のためのビットストリームにマージすることができる。具体的には、現在のビューポートは高解像度サブビットストリームから取得され、表示されていないビューポートは低解像度ビットストリームから取得される。このようにして、最高画質のビデオがユーザに表示され、低画質のビデオが破棄される。ユーザが新しいビューポートを選択する場合には、低解像度のビデオがユーザに提示される。復号器は、新しいビューポートがより高解像度のビデオを受信するように要求することができる。次いで、符号化器は、それに応じてマージ・プロセスを変更することができる。ＩＲＡＰピクチャに到達すると、復号器は、新しいビューポートでのより高い解像度のビデオ・シーケンスの復号を始めることができる。このアプローチは、ユーザの視認体験に悪影響を与えることなく、ビデオ圧縮を有意に向上させる。 上記のアプローチの１つの関心事は、解像度を変更するのに必要な時間の長さが、ＩＲＡＰピクチャに到達するまでの時間の長さに基づいていることである。これは、復号器が、上述のように、非ＩＲＡＰピクチャで異なるビデオ・シーケンスの復号を開始することができないためである。このようなレイテンシを低減する１つのアプローチは、より多くのＩＲＡＰピクチャを含めることである。しかし、その結果、ファイルサイズの増加をもたらす。機能性とコーディング効率とのバランスをとるために、異なるビューポート／サブピクチャは、異なる頻度でＩＲＡＰピクチャを含み得る。例えば、視認される可能性の高いビューポートは、他のビューポートよりも多くのＩＲＡＰピクチャを持つことがある。このアプローチは、他の問題につながる。具体的には、ＩＲＡＰピクチャの後のピクチャは、ＩＲＡＰピクチャに先行するピクチャを参照しないように制約される。しかし、この制約はピクチャ・レベルで行われる。ＩＲＡＰ及び非ＩＲＡＰサブピクチャの両方を含む混合ＮＡＬユニットを含むピクチャは、ピクチャ・レベルではＩＲＡＰピクチャと見なされないことがある。したがって、このようなピクチャ・レベルの制約を適用しなくてもよい。これは、ＩＲＡＰサブピクチャの後のピクチャの一部分が、ＩＲＡＰピクチャに先行するピクチャを不適切に参照することにつながる可能性がある。このケースでは、ＩＲＡＰサブピクチャは、参照ピクチャ／サブピクチャが利用できない可能性があるため、アクセス・ポイントとして適切に機能せず、ＩＲＡＰサブピクチャの後のサブピクチャが復号可能であることを妨げる。さらに、ＩＲＡＰサブピクチャは、非ＩＲＡＰサブピクチャを、混合ＮＡＬユニットを有する目的（例えば、異なる長さのインター・コーディングされるシーケンスは、サブピクチャ位置に依存する）を無効にするような参照から妨げるべきではない。 本例は、ピクチャがＩＲＡＰ ＮＡＬユニットと非ＩＲＡＰ ＮＡＬユニットの両方を含むときに、コーディング・エラーを軽減するメカニズムを含む。具体的には、現在のピクチャのサブピクチャはＩＲＡＰ ＮＡＬユニットを含み得る。これが発生するときに、サブピクチャにも含まれる現在のピクチャの後のピクチャでのスライスは、現在のピクチャに先行する参照ピクチャを参照することが制限される。これは、ＩＲＡＰ ＮＡＬユニットがサブピクチャ・レベルでのインター予測伝播を停止することを確実にする。したがって、復号器は、ＩＲＡＰサブピクチャで復号を始めることができる。後のピクチャにおけるサブピクチャに関連するスライスは常に復号することができる。これは、このようなスライスが（復号されていない）ＩＲＡＰサブピクチャに先行する任意のデータを参照しないためである。このような制約は非ＩＲＡＰ ＮＡＬユニットには適用されない。したがって、非ＩＲＡＰデータを含むサブピクチャに対して、インター予測は壊されない。このように、開示されたメカニズムは、追加の機能性の実装を可能にする。例えば、開示されたメカニズムは、サブピクチャ・ビットストリームを使用するときに、サブピクチャ・レベルでの動的解像度の変化をサポートする。それゆえ、開示されたメカニズムは、ユーザ体験を有意に損なうことなく、ＶＲビデオをストリーミングするときに、より低い解像度のサブピクチャ・ビットストリームが送信されることを可能にする。したがって、開示されたメカニズムは、コーディング効率を増加させ、それゆえ、符号化器及び復号器でのネットワーク・リソース、メモリ・リソース、及び／又は処理リソースの使用量を低減する。 オプションとして、先行する態様のいずれかにおいて、態様の別の実装は、ＩＲＡＰ ＮＡＬユニット・タイプがクリーン・ランダム・アクセス（ＣＲＡ）ＮＡＬユニット・タイプであることを提供する。 オプションとして、先行する態様のいずれかにおいて、態様の別の実装は、ＩＲＡＰ ＮＡＬユニット・タイプが瞬間復号器リフレッシュ（ＩＤＲ）ＮＡＬユニット・タイプであることを提供する。 オプションとして、先行する態様のいずれかにおいて、態様の別の実装は、プロセッサによって、ｓｕｂｐｉｃＡに位置付けられた現在のピクチャのすべてのスライスが、同じＮＡＬユニット・タイプに関連することを判定することをさらに含むことを提供する。 オプションとして、先行する態様のいずれかにおいて、態様の別の実装は、プロセッサによって、フラグに基づいて、現在のピクチャのＶＣＬ ＮＡＬユニットに対する第１のＮＡＬユニット・タイプ値が、現在のピクチャのＶＣＬ ＮＡＬユニットに対する第２のＮＡＬユニット・タイプ値とは異なると判定することをさらに含むことを提供する。 オプションとして、先行する態様のいずれかにおいて、態様の別の実装は、ビットストリームは、ピクチャ・パラメータ・セット（ＰＰＳ）を含み、フラグは、ＰＰＳから取得されることを提供する。 オプションとして、先行する態様のいずれかにおいて、態様の別の実装は、フラグは、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇであり、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは、ＰＰＳを参照する各ピクチャが複数のＶＣＬ ＮＡＬユニットを有し、ＶＣＬ ＮＡＬユニットが同じ値のＮＡＬユニット・タイプ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を有しないことを指定するときに１と等しいことを提供する。 一実施形態では、本開示は、符号化器に実装される方法であって、符号化器のプロセッサによって、現在のピクチャが同じＮＡＬユニット・タイプを有さない複数のＶＣＬ ＮＡＬユニットを含むと判定することと、プロセッサによって、現在のピクチャでのｓｕｂｐｉｃＡがＩＲＡＰ ＮＡＬユニット・タイプに関連すると判定することと、プロセッサによって、復号順序において、現在のピクチャの後の後続のピクチャにおけるｓｕｂｐｉｃＡに