Search

JP-2026514633-A - ビデオコーディングのための方法、コンピューティングシステム、及びコンピュータ読み取り可能記憶媒体

JP2026514633AJP 2026514633 AJP2026514633 AJP 2026514633AJP-2026514633-A

Abstract

ここに記載される様々な実装は、映像をコーディングするための方法及びシステムを含む。一態様において、ビデオビットストリームは、現在コーディングブロックを有する現在画像フレームを含むとともに、残差テンプレートクロスコンポーネント残差モデル（ＲＴ－ＣＣＲＭ）モードについての第１のシンタックス要素をシグナリングする。ＲＴ－ＣＣＲＭモードが有効にされるとき、コンピューティングシステムは、現在コーディングブロック内で、第１のクロマサンプルと、該第１のクロマサンプルに対応する１つ以上のルマサンプルとを特定し、現在コーディングブロック内の該１つ以上のルマサンプルの１つ以上の残差を決定し、ＲＴ－ＣＣＲＭモードに対応する残差フィルタを適用して、該１つ以上のルマサンプルの残差に基づいて第１のクロマサンプルの第１の残差を生成する。コンピューティングシステムは、少なくとも第１の残差を用いて予測クロマサンプルを補償して第１のクロマサンプルを再構成することによって、現在画像フレームを再構成する。

Inventors

  • チェン，リン－フェイ
  • ジャオ，シン
  • チェルニャク，ロマン
  • シュー，シャオジョン
  • リウ，シャン

Assignees

  • テンセント・アメリカ・エルエルシー

Dates

Publication Date
20260513
Application Date
20240424
Priority Date
20240423

Claims (20)

  1. デコーダが実行する、ビデオデータを復号するための方法であって、 現在画像フレームと、残差テンプレートクロスコンポーネント残差モデル（ＲＴ－ＣＣＲＭ）モードについての第１のシンタックス要素と、を含むビデオビットストリームを受信するステップと、 前記現在画像フレームの現在コーディングブロックの第１のクロマサンプルの第１の残差を、前記現在コーディングブロック内の前記第１のクロマサンプルに対応する１つ以上のルマサンプルの１つ以上の残差に基づいて生成するように、前記ＲＴ－ＣＣＲＭモードが有効にされること、を前記第１のシンタックス要素に基づいて決定するステップと、 前記ＲＴ－ＣＣＲＭモードが有効にされるとき、 前記現在コーディングブロック内で、前記第１のクロマサンプルと、前記第１のクロマサンプルに対応する前記１つ以上のルマサンプルとを特定し、 前記現在コーディングブロック内の前記１つ以上のルマサンプルの前記１つ以上の残差を決定し、 前記ＲＴ－ＣＣＲＭモードに対応する残差フィルタを適用して、前記１つ以上のルマサンプルの前記１つ以上の残差に基づいて前記第１のクロマサンプルの前記第１の残差を生成する、ステップと、 少なくとも前記第１の残差を用いて予測クロマサンプルを補償して前記第１のクロマサンプルを再構成することによって、前記現在画像フレームを再構成するステップと、 を有する方法。
  2. 前記ＲＴ－ＣＣＲＭモードについての前記第１のシンタックス要素は、第１のフラグ及び第２のフラグを含み、前記第１のフラグは、青色差（Ｃｂ）クロマサンプルの青クロマ残差を生成するために前記ＲＴ－ＣＣＲＭモードが有効にされるかを示し、前記第２のフラグは、赤色差（Ｃｒ）クロマサンプルの赤クロマ残差を生成するために前記ＲＴ－ＣＣＲＭモードが有効にされるかを示し、前記第１のクロマサンプルは、前記Ｃｂクロマサンプル及び前記Ｃｒクロマサンプルを含む、請求項１に記載の方法。
  3. 前記現在コーディングブロックがマージモードに基づいて予測されることを決定するステップと、 前記マージモードに従って、ベクトルに基づいてマージ候補を決定するステップと、 前記ベクトルに基づいて、前記マージ候補に関連する参照テンプレートを特定するステップと、 前記現在コーディングブロックに関連付けられた現在テンプレートを特定するステップと、 前記参照テンプレートと前記現在テンプレートとに基づいて前記残差フィルタの複数のフィルタ係数を決定するステップと、 を更に有する請求項１に記載の方法。
  4. 前記マージモードは、インターマージモード、アフィンマージモード、及びイントラブロックコピー（ＩＢＣ）モードのうちの１つである、請求項３に記載の方法。
  5. 前記マージモードは双予測での予測に対応し、 前記マージ候補は、第１の参照リストから選択された第１の候補、及び第２の参照リストから選択された第２の候補を含み、 前記参照テンプレートは、前記第１の候補に対応する第１の参照テンプレートと前記第２の候補に対応する第２の参照テンプレートとの加重平均である、 請求項３に記載の方法。
  6. 局所強度補償（ＬＩＣ）についてのフラグが前記マージ候補に対して有効にされるとき、前記参照テンプレートに局所強度補償を適用するステップ、 を更に有する請求項３に記載の方法。
  7. アドバンスト動きベクトル予測（ＡＭＶＰ）モードにおいて、 前記マージ候補の動きベクトル予測子（ＭＶＰ）及び動きベクトル差分（ＭＶＤ）に基づいて前記マージ候補の前記ベクトルを決定すること、及び 前記マージ候補のブロックベクトル予測子（ＢＶＰ）及びブロックベクトル差分（ＢＶＤ）に基づいて前記マージ候補の前記ベクトルを決定すること、 のうちの一方を実施するステップ、を更に有する請求項３に記載の方法。
  8. 前記現在テンプレートは、再構成済みの上隣接領域、再構成済みの左隣接領域、及びＬ字形の再構成済みのＬ字隣接領域から選択される、請求項３に記載の方法。
  9. 前記現在テンプレートは、インター予測モード、ｉｎｔｒａＴＭＰモード、マルチモデル線形モデル（ＭＭＬＭ）モード、クロスコンポーネント線形モデル（ＣＣＬＭ）モード、畳み込みクロスコンポーネントイントラ予測モデル（ＣＣＣＭ）、及び勾配線形モデル（ＧＬＭ）モードのうちの１つに対応する第１のフィルタを決定するために適用されるフィルタテンプレートを含む、請求項３に記載の方法。
  10. 前記参照テンプレート及び前記現在テンプレートは各々、それぞれの上テンプレート及びそれぞれの左テンプレートを含み、前記それぞれの上テンプレートは、少なくとも１つの行を持ち、前記それぞれの左テンプレートは、少なくとも１つの列を持つ、請求項３に記載の方法。
  11. 前記現在コーディングブロックがイントラテンプレートマッチング予測（ＩｎｔｒａＴＭＰ）モードで予測されることを決定するステップと、 ブロックベクトルに基づいてマージ候補を決定するステップと、 前記ブロックベクトルに基づいて、前記マージ候補に関連する参照テンプレートを特定するステップであり、該参照テンプレートは、参照ルマテンプレート及び参照クロマテンプレートを含む、ステップと、 前記現在コーディングブロックに関連付けられた現在テンプレートを特定するステップと、 前記参照テンプレートと前記現在テンプレートとに基づいて前記残差フィルタの複数のフィルタ係数を決定するステップと、 を更に有する請求項１に記載の方法。
  12. マルチモデル線形モデル（ＭＭＬＭ）モード、クロスコンポーネント線形モデル（ＣＣＬＭ）モード、畳み込みクロスコンポーネントイントラ予測モデル（ＣＣＣＭ）、及び勾配線形モデル（ＧＬＭ）モードのうちの１つに対応する代替フィルタを用いて前記現在コーディングブロックが予測されることを決定するステップと、 前記代替フィルタが複数の第１のフィルタ係数を持つことを決定するステップと、 前記代替フィルタの前記複数の第１のフィルタ係数に基づいて前記残差フィルタの複数のフィルタリング係数を決定するステップと、 を更に有する請求項１に記載の方法。
  13. 前記残差フィルタは、青色差（Ｃｂ）クロマサンプル及び赤色差（Ｃｒ）クロマサンプルのうちの第１の一方に対する第１の残差フィルタを含み、当該方法は更に、 ＭＭＬＭモード、ＣＣＬＭモード、ＣＣＣＭ、及びＧＬＭモードのうちの２つの異なるモードに対応する第１の代替フィルタ及び第２の代替フィルタを用いて前記現在コーディングブロックが予測されることを決定するステップと、 前記第１の代替フィルタが複数の第１のフィルタ係数を持つこと及び前記第２の代替フィルタが複数の第２のフィルタ係数を持つことを決定するステップと、 前記第１の代替フィルタの前記複数の第１のフィルタ係数に基づいて前記第１の残差フィルタの複数のフィルタ係数を決定するステップと、 前記第２の代替フィルタの前記複数の第２のフィルタ係数に基づいて第２の残差フィルタの複数のフィルタ係数を決定するステップであり、該第２の残差フィルタが、前記Ｃｂクロマサンプル及び前記Ｃｒクロマサンプルのうちの第２の異なる一方の残差を生成するために適用される、ステップと、 を有する、請求項１に記載の方法。
  14. 第１の残差値と該第１の残差値よりも大きい第２の残差値との間で定義されるダイナミックレンジ内に、前記第１のクロマサンプルの前記残差をクリッピングするステップ、 を更に有する請求項１に記載の方法。
  15. 前記ビデオビットストリームは更に、前記第１のクロマサンプルの第２の残差を含み、前記現在画像フレームを再構成することは、前記第１の残差及び前記第２の残差の両方を用いて前記予測クロマサンプルを補償して前記第１のクロマサンプルを再構成することを含む、請求項１に記載の方法。
  16. コンピューティングシステムであって、 制御回路と、 前記制御回路によって実行されるように構成された１つ以上のプログラムを格納したメモリと、 を有し、前記１つ以上のプログラムは、 現在画像フレームを有するビデオデータを受信するステップと、 現在コーディングブロックを含む前記現在画像フレームを符号化するステップと、 前記現在画像フレームの現在コーディングブロックの第１のクロマサンプルの第１の残差を、前記現在コーディングブロック内の１つ以上のルマサンプルの１つ以上の残差に基づいて生成するように、残差テンプレートクロスコンポーネント残差モデル（ＲＴ－ＣＣＲＭ）が有効にされるか、を決定するステップと、 前記符号化された現在画像フレームを、ビデオビットストリームを介して送信するステップと、 前記現在画像フレームの前記現在コーディングブロックの前記第１のクロマサンプルの前記第１の残差を、前記現在コーディングブロック内の前記１つ以上のルマサンプルの前記１つ以上の残差に基づいて生成するように、前記ＲＴ－ＣＣＲＭモードが有効にされるか、を示すための第１のシンタックス要素を、前記ビデオビットストリームを介してシグナリングするステップと、 のための命令を有する、 コンピューティングシステム。
  17. 前記１つ以上のプログラムは更に、 インター予測モード、イントラブロックコピー（ＩＢＣ）モード、及びイントラテンプレートマッチング予測（ＩｎｔｒａＴＭＰ）モードのうちの１つで前記現在コーディングブロックが符号化されることを決定するステップ、 のための命令を有し、 前記第１のシンタックス要素は、前記インター予測モード、前記ＩＢＣモード、及び前記ＩｎｔｒａＴＭＰモードのうちの前記１つで前記現在コーディングブロックが符号化される場合にシグナリングされる、 請求項１６に記載のコンピューティングシステム。
  18. 前記１つ以上のプログラムは更に、 前記１つ以上のルマサンプルに対応する再構成ルマサンプルからの前記第１のクロマサンプルの予測を中止するために前記クロスコンポーネント残差モデル（ＣＣＲＭ）モードが無効にされることを決定するステップ、 のための命令を有し、 前記第１のシンタックス要素は、前記インター予測モード、前記ＩＢＣモード、及び前記ＩｎｔｒａＴＭＰモードのうちの前記１つで前記現在コーディングブロックが符号化される場合且つ前記ＣＣＲＭが無効にされる場合にシグナリングされる、 請求項１７に記載のコンピューティングシステム。
  19. 前記１つ以上のプログラムは更に、 前記ＲＴ－ＣＣＲＭモードが無効にされることを前記第１のシンタックス要素が示すときに、前記１つ以上のルマサンプルに対応する再構成ルマサンプルから前記第１のクロマサンプルが予測されるかを示すＣＣＲＭモードについての第２のシンタックス要素をシグナリングするステップ、 のための命令を有する、請求項１７に記載のコンピューティングシステム。
  20. コンピューティングシステムの制御回路による実行のための１つ以上のプログラムを格納したコンピュータ読み取り可能記憶媒体であって、前記１つ以上のプログラムは、 現在画像フレームの現在コーディングブロックを含むソースビデオシーケンスを取得するステップと、 前記ソースビデオシーケンスとビデオビットストリームとの間の変換を実行するステップと、 のための命令を有し、 前記ビデオビットストリームは、 前記現在画像フレームと、 前記現在画像フレームの現在コーディングブロックの第１のクロマサンプルの第１の残差を、前記現在コーディングブロックの１つ以上のルマサンプルの１つ以上の残差に基づいて生成すべきかを示す、残差テンプレートクロスコンポーネント残差モデル（ＲＴ－ＣＣＲＭ）モードについての第１のシンタックス要素と、 を含み、 前記ＲＴ－ＣＣＲＭモードが有効にされることを前記第１のシンタックス要素が示すとの決定に従って、前記１つ以上のルマサンプルの前記１つ以上の残差に基づいて前記第１のクロマサンプルの前記第１の残差を生成するために、前記ＲＴ－ＣＣＲＭモードに対応する残差フィルタが適用される、 コンピュータ読み取り可能記憶媒体。

Description

この出願は、“Cross-Component Residual Prediction by Using Residual Template”と題して２０２３年４月２４日に出願された米国仮特許出願第６３／４６１，５８１号に対する優先権を主張するものであり、また、“Cross-Component Residual Prediction by Using Residual Template”と題して２０２４年４月２３日に出願された米国特許出願第１８／６４３，９５３号の継続出願であって、それに対する優先権を主張するものである。 開示される実施形態は、概してビデオコーディングに関し、以下に限られないが、クロスコンポーネント残差を用いてビデオデータを処理するためのシステム及び方法を含む。 デジタル映像は、例えばデジタルテレビ、ラップトップ若しくはデスクトップコンピュータ、タブレットコンピュータ、デジタルカメラ、デジタル記録機器、デジタルメディアプレーヤ、ビデオゲームコンソール、スマートフォン、ビデオ遠隔会議機器、ビデオストリーミング機器などの様々な電子機器によってサポートされている。それらの電子機器は、通信ネットワークを横切ってデジタルビデオデータを送受信したり、その他の方法で通信したりして、デジタルビデオデータをストレージデバイスに格納する。通信ネットワークの限られた帯域幅容量及びストレージデバイスの限られたメモリリソースに起因して、ビデオデータが通信又は格納される前に、１つ以上のビデオコーディング標準に従ってビデオデータを圧縮するために、ビデオコーディングが使用され得る。ビデオコーディングは、電子／クライアントデバイス上又はクラウドサービスを提供するサーバ上のハードウェア及び／又はソフトウェアによって実行され得る。 ビデオコーディングは、一般に、ビデオデータに生来的に備わる冗長性を活用する予測法（例えば、インター予測、イントラ予測、又はこれらに類するもの）を利用する。ビデオコーディングは、ビデオ品質への劣化を回避又は最小限に抑えながら、より低いビットレートを使用する形態へとビデオデータを圧縮することを狙いとする。複数のビデオコーデック標準が開発されてきた。例えば、ハイエフィシェンシービデオコーディング（ＨＥＶＣ／Ｈ．２６５）は、ＭＰＥＧ－Ｈプロジェクトの一部として設計されたビデオ圧縮標準である。ＩＴＵ－Ｔ及びＩＳＯ／ＩＥＣは、ＨＥＶＣ／Ｈ．２６５標準を２０１３年（バージョン１）、２０１４年（バージョン２）、２０１５年（バージョン３）、及び２０１６年（バージョン４）に公開した。バーサタイルビデオコーディング（ＶＶＣ／Ｈ．２６６）は、ＨＥＶＣの後継として意図されたビデオ圧縮標準である。ＩＴＵ－Ｔ及びＩＳＯ／ＩＥＣは、ＶＶＣ／Ｈ．２６６標準を２０２０年（バージョン１）及び２０２２年（バージョン２）に公開した。ＡＯＭｅｄｉａビデオ１（ＡＶ１）は、ＨＥＶＣの代替として設計されたオープンビデオコーディングフォーマットである。２０１９年１月８日に、仕様の正誤表付きの認証バージョン１．０．０がリリースされた。 上述のように、符号化（圧縮）は、帯域幅及び／又は記憶空間要求を減少させる。詳細に後述するように、可逆圧縮及び非可逆圧縮の両方が使用され得る。可逆圧縮は、圧縮された原信号から復号プロセスを介して原信号の正確なコピーを再構成することはできる技術を指す。不可逆圧縮は、元の映像情報がコーディング中に完全には保持されず、復号中に完全には復元可能でないコーディング／復号プロセスを指す。非可逆圧縮を用いるとき、再構成信号が原信号とは同じでないことがあるが、原信号と再構成信号との間の歪みは、再構成信号を意図された用途に有用にするのに十分な小ささにされる。許容可能な歪みの量は用途に依存する。例えば、ある特定の消費者向けビデオストリーミングアプリケーションのユーザは、映画又はテレビ放送アプリケーションのユーザよりも高い歪みを許容し得る。特定のコーディングアルゴリズムによって達成可能な圧縮率は、様々な歪み許容度を反映するように選択又は調整されることができ、より高い許容歪みは、一般に、より高い損失及びより高い圧縮率をもたらすコーディングアルゴリズムを許容する。 本開示は、ビデオビットストリームの画像フレームを再構成するために、残差テンプレートクロスコンポーネント残差モデル（residual template cross-component residual model；ＲＴ－ＣＣＲＭ）を用いて、クロマサンプルの残差を、関連するルマサンプルの残差から生成する映像圧縮方法を記述する。クロスコンポーネントフィルタリングを残差ドメインで適用して、関連するルマサンプルの残差を用いてクロマサンプルの残差を予測し、これは、局所照明補償を提供し、ビデオコンテンツのコーディング効率を向上させる。具体的には、一部の実施形態において、現在画像フレームの現在コーディングブロックは、現在ルマテンプレートと現在クロマテンプレートとを含む現在テンプレートを持つ。現在コーディングブロックは、例えば現在画像フレーム上又は別の参照画像フレーム上に位置するものである１つ以上の参照コーディングブロック４３６に対応する。各参照コーディングブロック４３６が、参照ルマテンプレートと参照クロマテンプレートとを含むそれぞれの参照テンプレートを持つ。参照ルマテンプレート、参照クロマテンプレート、現在ルマテンプレート、及び現在クロマテンプレートが、ルマサンプル及びクロマサンプルの残差データを決定するために適用される。これらのテンプレートのルマサンプル及びクロマサンプルの残差データは更に、ＲＴ－ＣＣＲＭで適用される残差フィルタのフィルタ係数を決定するために適用される。フィルタ係数を持つ残差フィルタを用いて、現在コーディングブロックのルマサンプルの残差データに基づいて現在コーディングブロックのクロマサンプルの残差データを決定する。クロマサンプルの決定された残差データに基づいて現在コーディングブロックが再構成される。 一部の実施形態によれば、映像復号の方法が提供される。当該方法は、現在画像フレームと、残差テンプレートクロスコンポーネント残差モデル（ＲＴ－ＣＣＲＭ）モードについての第１のシンタックス要素と、を含むビデオビットストリームを受信することを含む。当該方法は更に、現在画像フレームの現在コーディングブロックの第１のクロマサンプルの第１の残差を、現在コーディングブロック内の１つ以上のルマサンプルの１つ以上の残差に基づいて生成するように、ＲＴ－ＣＣＲＭモードが有効にされること、を第１のシンタックス要素に基づいて決定することを含む。当該方法は更に、ＲＴ－ＣＣＲＭモードが有効にされるときに、現在コーディングブロック内で、第１のクロマサンプルと、第１のクロマサンプルに対応する１つ以上のルマサンプルとを特定し、現在コーディングブロック内の１つ以上のルマサンプルの１つ以上の残差を決定し、ＲＴ－ＣＣＲＭモードに対応する残差フィルタを適用して、１つ以上のルマサンプルの１つ以上の残差に基づいて第１のクロマサンプルの第１の残差を生成することを含む。当該方法は更に、少なくとも、第１の残差を用いて予測クロマサンプルを補償して第１のクロマサンプルを再構成することによって、現在画像フレームを再構成することを含む。 一部の実施形態によれば、映像符号化の方法が提供される。当該方法は、現在画像フレームを有するビデオデータを受信することと、現在コーディングブロックを含む現在画像フレームを符号化することと、現在画像フレームの現在コーディングブロックの第１のクロマサンプルの第１の残差を、現在コーディングブロック内の１つ以上のルマサンプルの１つ以上の残差に基づいて生成するように、残差テンプレートクロスコンポーネント残差モデル（ＲＴ－ＣＣＲＭ）が有効にされるか、を決定することとを含む。当該方法は更に、符号化された現在画像フレームを、ビデオビットストリームを介して送信することと、現在画像フレームの現在コーディングブロックの第１のクロマサンプルの第１の残差を、現在コーディングブロック内の１つ以上のルマサンプルの１つ以上の残差に基づいて生成するように、ＲＴ－ＣＣＲＭモードが有効にされるか、を示すための第１のシンタックス要素を、ビデオビットストリームを介してシグナリングすることとを含む。 一部の実施形態によれば、ビットストリーム変換の方法が提供される。当該方法は、現在画像フレームの現在コーディングブロックを含むソースビデオシーケンスを取得することと、ソースビデオシーケンスとビデオビットストリームとの間の変換を実行することとを含む。該ビデオビットストリームは、現在画像フレームと、現在画像フレームの現在コーディングブロックの第１のクロマサンプルの第１の残差を、現在コーディングブロックの１つ以上のルマサンプルの１つ以上の残差に基づいて生成すべきかを示す、残差テンプレートクロスコンポーネント残差モデル（ＲＴ－ＣＣＲＭ）モードについての第１のシンタックス要素と、を含む。ＲＴ－ＣＣＲＭモードが有効にされることを第１のシンタックス要素が示すとの決定に従って、１つ以上のルマサンプルの１つ以上の残差に基づいて第１のクロマサンプルの第１の残差を生成するために、ＲＴ－ＣＣＲＭモードに対応する残差フィルタが適用される。 一部の実施形態によれば、例えばストリーミングシステム、サーバシステム、パーソナルコンピュータシステム、又は他の電子機器などのコンピューティングシステムが提供される。当該コンピューティングシステムは、制御回路と、１つ以上の命令セットを格納したメモリとを含む。該１つ以上の命令セットは、ここに記載される方法のうちのいずれかを実行するための命令を含む。一部の実施形態において、当該コンピューティングシステムは、エンコーダコンポーネント及びデコーダコンポーネント（例えば、トランスコーダ）を含む。 一部の実施形態によれば、非一時的コンピュータ読み取り可能記憶媒体が提供される。当該非一時的コンピュータ読み取り可能記憶媒体は、コンピューティングシステムによる実行のための１つ以上の命令セットを格納する。該１つ以上の命令セットは、ここに記載される方法のうちのいずれかを実行するための命令を含む。 従って、映像を符号化及び復号するための方法とともに機器及びシステムが開示される。そのような方法、機器、及びシステムは、映像符号化／復号のための従来の方法、機器、及びシステムを補完したり置き換えたりすることができる。本明細書に記載される特徴及び利点は必ずしも包括的なわけではなく、特に、この開示にて提供される図面、明細書、及び特許請求の範囲に鑑みて当業者には幾つかの追加の特徴及び利点が明らかになる。また、留意されたいことには、本明細書で使用される言葉は、主に読みやすさ及び教示目的のために選択されており、必ずしもここで説明される主題を線引きしたり境界付けたりするために選択されているわけではない。 より詳細に本開示が理解され得るように、様々な実施形態の特徴を参照することによって、より具体的な説明が行われ、それら実施形態のうちの一部が添付の図面に示される。しかしながら、添付の図面は、本開示の関連する特徴を単に例示するものであり、従って、必ずしも限定するものと見なされるべきではなく、説明のために、当業者がこの開示を読んで理解することになるような他の有効な特徴を認めることがある。 一部の実施形態に従った通信システムの一例を示すブロック図である。 一部の実施形態に従ったエンコーダコンポーネントの要素例を示すブロック図である。 一部の実施形態に従ったデコーダコンポーネントの要素例を示すブロック図である。