Search

JP-2026514631-A - 勾配及び位置を用いたフィルタードイントラブロックコピー

JP2026514631AJP 2026514631 AJP2026514631 AJP 2026514631AJP-2026514631-A

Abstract

本開示の態様は、映像復号符号化方法及び映像復号符号化装置と映像媒体データを処理する方法とを含む。フィルタードイントラブロックコピー（ＦＩＢＣ）モードを用いて現在ピクチャ中の現在ブロックが予測されることを示すコーディングされた情報を受け取り、ＩＢＣモードとイントラテンプレートマッチング（ＩｎｔｒａＴＭＰ）モードとの一方を用いて予測された予測サンプルに線形フィルタを適用することによって現在ブロック中の現在サンプルの線形予測値を決定し、少なくとも１つの勾配フィルタを用いて現在サンプルに関連する勾配値を決定し、線形予測値と、勾配値を含む少なくとも１つの修正値との合計に基づいて現在サンプルの予測値を決定するように構成される処理回路を含む映像復号装置。ＦＩＢＣモードのＦＩＢＣフィルタが線形フィルタと少なくとも１つの勾配フィルタとを含む。

Inventors

  • ビャオ・ワン
  • リェン－フェイ・チェン
  • ロマン・チェルニャク
  • シン・ジャオ

Assignees

  • テンセント・アメリカ・エルエルシー

Dates

Publication Date
20260513
Application Date
20240423
Priority Date
20230426

Claims (15)

  1. 映像媒体データを処理する方法であって、前記方法は、 フォーマット規則にしたがって前記映像媒体データのビットストリームを処理するステップ を備え、 前記ビットストリームは、フィルタードイントラブロックコピー（ＦＩＢＣ）モードを用いて現在ピクチャ中の現在ブロックが予測されることを示すシンタックス要素を含み、 前記フォーマット規則は、 イントラブロックコピーＩＢＣモードとイントラテンプレートマッチング（ＩｎｔｒａＴＭＰ）モードとの一方を用いて予測されたサンプルに線形フィルタを適用することによって前記現在ブロック中の現在サンプルの線形予測値が決定されることと、 少なくとも１つの勾配フィルタを用いて前記現在ブロック中の前記現在サンプルに関連する勾配値が決定されることと、 前記現在サンプルと前記現在サンプルの近傍のサンプルとの少なくとも一方から、非線形値と、前記現在サンプル及び前記近傍のサンプルの前記少なくとも一方の値との間の非線形関係を用いて前記現在サンプルに関連する非線形値が決定されることと、 位置値が前記線形フィルタの中央にある中央のサンプルの位置に基づくことと、 前記現在サンプルの予測値が前記線形予測値と、前記勾配値、前記非線形値及び前記位置値を含む少なくとも１つの修正値との合計に基づき、前記ＦＩＢＣモードのＦＩＢＣフィルタが前記線形フィルタと前記少なくとも１つの勾配フィルタと前記非線形値の係数と前記位置の係数とを含むことと、 前記現在サンプルが前記現在サンプルの前記予測値から処理されることと を指定する、方法。
  2. 前記線形フィルタはバイアス項を含む、請求項１に記載の方法。
  3. 前記線形フィルタは前記現在ブロックの平均値を加算するように構成され、前記ＩＢＣモードと前記ＩｎｔｒａＴＭＰモードとの前記一方を用いて予測された前記サンプルの各々から前記現在ブロックの前記平均値を除く、請求項１又は２に記載の方法。
  4. イントラブロックコピー（ＩＢＣ）モードとイントラテンプレートマッチング（ＩｎｔｒａＴＭＰ）モードとの一方を用いて予測された予測サンプルに線形フィルタを適用することによって現在ブロック中の現在サンプルの線形予測値を決定するステップであって、前記現在ブロックはフィルタードＩＢＣ（ＦＩＢＣ）モードを用いて予測される、ステップと、 少なくとも１つの勾配フィルタを用いて前記現在ブロック中の前記現在サンプルに関連する勾配値を決定するステップと、 前記現在サンプルと前記現在サンプルの近傍のサンプルとの少なくとも一方から、非線形値と、前記現在サンプル及び前記近傍のサンプルの前記少なくとも一方の値との間の非線形関係を用いて前記現在サンプルに関連する非線形値を決定するステップと、 前記線形予測値と、前記勾配値及び前記非線形値を含む少なくとも１つの修正値との合計に基づいて前記現在サンプルの予測値を決定するステップであって、前記ＦＩＢＣモードのＦＩＢＣフィルタが前記線形フィルタと前記少なくとも１つの勾配フィルタと前記非線形値の係数とを含む、ステップと、 前記現在サンプルの前記予測値から前記現在サンプルを符号化するステップと を備える映像符号化方法。
  5. 前記線形フィルタの中心にある中央のサンプルの位置を用いて位置値を決定するステップと、 前記線形予測値と、前記勾配値、前記非線形値及び前記位置値を含む前記少なくとも１つの修正値との前記合計に基づいて前記現在サンプルの前記予測値を決定するステップであって、前記ＦＩＢＣモードの前記ＦＩＢＣフィルタは前記線形フィルタと前記少なくとも１つの勾配フィルタと前記非線形値の前記係数と前記位置の係数とを含む、ステップと をさらに備える請求項４に記載の方法。
  6. 前記線形フィルタはバイアス項を含む、又は 前記線形フィルタは、前記現在ブロックの平均値を加算し、前記ＩＢＣモードと前記ＩｎｔｒａＴＭＰモードとの前記一方を用いて予測された前記サンプルの各々から前記現在ブロックの前記平均値を除くように構成される、 請求項４又は５に記載の方法。
  7. フィルタードイントラブロックコピー（ＦＩＢＣ）モードを用いて現在ピクチャ中の現在ブロックが予測されることを示すコーディングされた情報を受け取ることと、 ＩＢＣモードとイントラテンプレートマッチング（ＩｎｔｒａＴＭＰ）モードとの一方を用いて予測された予測サンプルに線形フィルタを適用することによって前記現在ブロック中の現在サンプルの線形予測値を決定することと、 少なくとも１つの勾配フィルタを用いて前記現在ブロック中の前記現在サンプルに関連する勾配値を決定することと、 前記線形予測値と、前記勾配値を含む少なくとも１つの修正値との合計に基づいて前記現在サンプルの予測値を決定することであって、前記ＦＩＢＣモードのＦＩＢＣフィルタが前記線形フィルタと前記少なくとも１つの勾配フィルタとを含む、ことと、 前記現在サンプルの前記予測値から前記現在サンプルを再構成することと を行なうように構成される処理回路 を備える映像復号装置。
  8. 前記処理回路は、 前記線形フィルタの中心にある中央のサンプルの位置を用いて位置値を決定することと、 前記線形予測値と、前記勾配値及び前記位置値を含む前記少なくとも１つの修正値との合計に基づいて前記現在サンプルの前記予測値を決定することであって、前記ＦＩＢＣモードの前記ＦＩＢＣフィルタは前記線形フィルタと前記少なくとも１つの勾配フィルタと前記位置の係数とを含む、ことと を行なうように構成される、請求項７に記載の装置。
  9. 前記処理回路は、 前記現在サンプルと前記現在サンプルの近傍のサンプルとの少なくとも一方から、前記非線形値と、前記現在サンプル及び前記近傍のサンプルの前記少なくとも一方の値との間の非線形関係を用いて前記現在サンプルに関連する非線形値を決定することと、 前記線形予測値と、前記勾配値及び前記非線形値を含む前記少なくとも１つの修正値との合計に基づいて前記現在サンプルの前記予測値を決定することであって、前記ＦＩＢＣモードの前記ＦＩＢＣフィルタは前記線形フィルタと前記少なくとも１つの勾配フィルタと前記非線形値の係数とを含む、ことと を行なうように構成される、請求項７に記載の装置。
  10. 前記線形フィルタはバイアス項を含む、請求項７から９のいずれか１項に記載の装置。
  11. 前記線形フィルタは前記現在ブロックの平均値を加算し、前記ＩＢＣモードと前記ＩｎｔｒａＴＭＰモードとの前記一方を用いて予測された前記サンプルの各々から前記現在ブロックの前記平均値を除く、請求項７から１０のいずれか１項に記載の装置。
  12. 前記処理回路は前記現在サンプルの前記予測値を切り取るように構成される、請求項７から１１のいずれか１項に記載の装置。
  13. 前記処理回路は、前記現在ブロックの現在テンプレートと、前記現在ブロックのブロックベクトルによって示される参照ブロックの参照テンプレートとから前記ＦＩＢＣモードの前記ＦＩＢＣフィルタの係数を決定するように構成される、請求項７から１２のいずれか１項に記載の装置。
  14. 前記線形フィルタは、 （ｉ）オフセットが（０，０）である前記線形フィルタの中央のサンプルと、オフセットが（０，－１）である北のサンプルＮと、オフセットが（０，１）である南のサンプルＳと、オフセットが（１，０）である東のサンプルＥと、オフセットが（－１，０）である西のサンプルＷとを含む５つのサンプルであって、前記線形フィルタ中の前記５つのサンプルの前記オフセットは前記中央のサンプルを基準とする、５つのサンプル又は （ｉｉ）オフセットが（０，０）である前記線形フィルタの中央のサンプルと、オフセットがそれぞれ（０，－１）及び（０，－２）である２つの北のサンプルと、オフセットがそれぞれ（０，１）及び（０，２）である２つの南のサンプルと、オフセットがそれぞれ（１，０）及び（２，０）である２つの東のサンプルと、オフセットがそれぞれ（－１，０）及び（－２，０）である２つの西のサンプルとを含む９つのサンプルであって、前記線形フィルタ中の前記９つのサンプルの前記オフセットは前記中央のサンプルを基準とする、９つのサンプル を含む十字形状を持つ、請求項７から１３のいずれか１項に記載の装置。
  15. 前記線形フィルタが前記５つのサンプルを有する場合、前記現在サンプルが前記５つのサンプルのそれぞれの位置である５つの位置の１つに位置し、 前記線形フィルタが前記９つのサンプルを有する場合、前記現在サンプルが前記９つのサンプルのそれぞれの位置である９つの位置の１つに位置する、 請求項１４に記載の装置。

Description

関連する出願 本出願は、２０２３年４月２６日に出願された米国仮出願第６３／４６２，２３５号“Ｇｒａｄｉｅｎｔ ａｎｄ Ｌｏｃａｔｉｏｎ ｂａｓｅｄ Ｆｉｌｔｅｒｅｄ Ｉｎｔｒａ Ｂｌｏｃｋ Ｃｏｐｙ”の優先権の利益を主張するものであり、本米国仮出願の全体が参照により本開示に援用される。 本開示では概して映像コーディングに関する態様を説明する。 以下に記載されている背景の説明は本開示の背景を概略的に示すためのものである。背景に関する本記載で説明されている範囲において、本願において氏名が掲載されている発明者が行なったものと、その他、出願時の先行技術としての地位を獲得し得ない説明の態様とは、本開示に対する先行技術として明示的にも黙示的にも自認されるものではない。 画像／映像圧縮により、品質劣化を最小にしつつ異なるデバイス、ストレージやネットワークにわたって画像／映像データを伝送するのを容易にすることができる。いくつかの例では、映像コーデック技術により空間的及び時間的冗長性に基づいて映像を圧縮することができる。一例では、映像コーデックで、空間的冗長性に基づいて画像を圧縮することができるイントラ予測と称される手法を用いることができる。たとえば、イントラ予測では、サンプル予測のために再構成中の現在ピクチャから得られる参照データを用いることができる。別の例では、映像コーデックで、時間的冗長性に基づいて画像を圧縮することができるインタ予測と称される手法を用いることができる。たとえば、インタ予測では、動き補償を用いて以前に再構成されたピクチャから現在ピクチャ中のサンプルを予測することができる。動き補償を動きベクトル（ＭＶ）によって表わすことができる。 通信システム（１００）のブロック図の一例の概略図である。デコーダのブロック図の一例の概略図である。エンコーダのブロック図の一例の概略図である。本開示の一態様に係る畳込みフィルタの一例を示す。本開示の一態様に係るフィルタ係数を導出するのに用いられる参照領域の例を示す。本開示の一態様に係る勾配及び位置を用いた畳込み成分間モデル（ＧＬ－ＣＣＣＭ）に用いられる空間サンプルの例を示す。本開示の一態様に係るイントラテンプレートマッチング予測（ＩｎｔｒａＴＭＰ）モードの例を示す。本開示の一態様に係るフィルタードイントラブロックコピー（ＦＩＢＣ）モデルの修正の例を示す。本開示の一態様に係るＦＩＢＣモードで利用可能なフィルタの例を示す。本開示の一態様に係るＦＩＢＣモードで利用可能なフィルタの例を示す。本開示の一態様に係るＦＩＢＣモードで利用可能なフィルタの例を示す。本開示の一態様に係る勾配を計算するのに用いられる入力サンプルＣの近傍のサンプルの例を示す。本開示の一態様に係る勾配計算方法を選択する例を示す。本開示の一態様に係るサンプルＣ、Ａ、Ｌ及びＡＬそれぞれの位置の例を示す。本開示のいくつかの態様に係る復号処理を概略的に示すフローチャートを示す。本開示のいくつかの態様に係る符号化処理を概略的に示すフローチャートを示す。一態様に係るコンピュータシステムの概略図である。 図１はいくつかの例の映像処理システム（１００）のブロック図を示す。映像処理システム（１００）は開示されている保護対象、ストリーミング環境における映像エンコーダ及び映像デコーダの適用の例である。開示されている保護対象は、たとえば、ビデオ会議、デジタルＴＶ、ストリーミングサービス、ＣＤ、ＤＶＤ、メモリスティックなどのデジタル媒体に圧縮映像を記憶するものなどを含む映像に対応する他の適用例にも同様に適用可能であるものであることが可能である。 映像処理システム（１００）は、たとえば圧縮されていない映像ピクチャのストリーム（１０２）を作成する映像ソース（１０１）、たとえばデジタルカメラを含むことができる撮像サブシステム（１１３）を含む。一例では、映像ピクチャのストリーム（１０２）はデジタルカメラによって撮られるサンプルを含む。符号化された映像データ（１０４）（すなわちコーディングされた映像ビットストリーム）と比較する場合にデータ量が多いことを強調するために映像ピクチャのストリーム（１０２）を太線で示しているが、その映像ピクチャのストリーム（１０２）を、映像ソース（１０１）に接続されている映像エンコーダ（１０３）を含む電子デバイス（１２０）によって処理することができる。映像エンコーダ（１０３）は、以降で詳細に説明されている、開示されている保護対象の態様を可能にしたり実施したりするハードウェア、ソフトウェア又はこれらの組合せを含むことができる。映像ピクチャのストリーム（１０２）と比較する場合にデータ量が少ないことを強調するために、符号化された映像データ（１０４）（すなわち符号化された映像ビットストリーム）を細線で示しているが、この符号化された映像データ（１０４）を、後の使用のためにストリーミングサーバ（１０５）に記憶することができる。図１のクライアントサブシステム（１０６）及び（１０８）などの１つ以上のストリーミングクライアントサブシステムはストリーミングサーバ（１０５）にアクセスして、符号化された映像データ（１０４）の複製（１０７）及び（１０９）を取得することができる。クライアントサブシステム（１０６）は、たとえば電子デバイス（１３０）中にある映像デコーダ（１１０）を含むことができる。映像デコーダ（１１０）は符号化された映像データの複製（１０７）を入力して復号し、ディスプレイ（１１２）（たとえば、表示画面）又はその他描画するデバイス（図示せず）に描画することができる映像ピクチャの出力ストリーム（１１１）を作成する。いくつかのストリーミングシステムでは、符号化された映像データ（１０４），（１０７）及び（１０９）（たとえば映像ビットストリーム）を特定の映像コーディング／圧縮標準にしたがって符号化することができる。このような標準の例にはＩＴＵ－Ｔ勧告Ｈ．２６５が含まれる。一例では、開発中の映像コーディング標準が非公式にはVersatile Video Coding（ＶＶＣ）として知られている。開示されている保護対象をＶＶＣを前提として用いてもよい。 電子デバイス（１２０）及び（１３０）が他の構成要素（図示せず）を含むことができることに留意する。たとえば、電子デバイス（１２０）が映像デコーダ（図示せず）を含むことができ、同様に、電子デバイス（１３０）が映像エンコーダ（図示せず）を含むことができる。 図２は映像デコーダ（２１０）のブロック図の例を示す。映像デコーダ（２１０）を電子デバイス（２３０）に含ませることができる。電子デバイス（２３０）は受信器（２３１）（たとえば受信回路）を含むことができる。映像デコーダ（２１０）を図１の例の映像デコーダ（１１０）の代わりに用いることができる。 受信器（２３１）は、映像デコーダ（２１０）によって復号されることになる１つ以上のコーディングされた映像シーケンス（たとえばビットストリームに含まれる）を受信してもよい。一態様では、一度に１つのコーディングされた映像シーケンスを受信し、その際、コーディングされた各映像シーケンスの復号が他のコーディングされた映像シーケンスの復号とは独立する。コーディングされた映像シーケンスをチャンネル（２０１）から受信してもよく、チャンネル（２０１）は、符号化された映像データを記憶する記憶デバイスにつなげられたハードウェア／ソフトウェアであってもよい。受信器（２３１）は他のデータ、たとえばコーディングされた音声データ及び／又は付属データストリームとともに符号化された映像データを受信してもよく、当該他のデータを、それに対応する所用のもの（図示せず）に転送してもよい。受信器（２３１）はコーディングされた映像シーケンスを他のデータから分離してもよい。ネットワークジッタに対処するために、受信器（２３１）とエントロピデコーダ／パーサ（２２０）（以下「パーサ（２２０）」）との間にバッファメモリ（２１５）を接続してもよい。いくつかの適用例では、バッファメモリ（２１５）は映像デコーダ（２１０）の一部である。他の例では、バッファメモリ（２１５）は映像デコーダ（２１０）外に存在することが可能である（図示せず）。さらに他の例では、たとえばネットワークのジッタに対処するために、映像デコーダ（２１０）外にバッファメモリ（図示せず）が存在することが可能であり、これに加えて、たとえばプレイアウトのタイミングを処理するために、映像デコーダ（２１０）内に別のバッファメモリ（２１５）が存在することが可能である。受信器（２３１）が十分な帯域幅及び制御性を持つ記憶／転送デバイスやアイソクロナスネットワークからデータを受信するものである場合、バッファメモリ（２１５）を要さずともよいし、バッファメモリ（２１５）が小規模であることが可能である。インターネットなどのベストエフォートパケットネットワークに用いる場合には、バッファメモリ（２１５）を要する場合があり、バッファメモリ（２１５）は比較的大規模であることが可能であり、かつ最適なサイズのメモリであることが可能であることが有効であり、バッファメモリ（２１５）を映像デコーダ（２１０）外のオペレーティングシステムや同様の要素（図示せず）で少なくとも部分的に実施してもよい。 映像デコーダ（２１０）は、コーディングされた映像シーケンスからシンボル（２２１）を再構成するパーサ（２２０）を含んでもよい。このようなシンボルのカテゴリには映像デコーダ（２１０）の動作を管理するのに用いられる情報が含まれ、図２に示されているように、電子デバイス（２３０）の一体部分ではなく、電子デバイス（２３０）に接続されることが可能である描画デバイス（２１２）（たとえば表示画面）などの描画するデバイスを制御する情報が含まれる場合がある。１つ以上の描画するデバイスに用いる制御情報はSupplemental Enhancement Information（ＳＥＩ）メッセージやVideo Usability Information（ＶＵＩ）パラメータセットフラグメント（図示せず）の形態をとってもよい。パーサ（２２０）は、受信されたコーディングされた映像シーケンスをパース／エントロピ復号することができる。当該コーディングされた映像シーケンスのコーディングは映像コーディング技術や標準に準拠することが可能であり、可変長符号化、ハフマン符号化、文脈依存を用いたり用いなかったりする算術符号化などを含む様々な原理にしたがうことができる。パーサ（２２０）は、コーディングされた映像シーケンスから、映像デコーダ中にある画素の部分群の少なくとも１つについての部分群パラメータの集合を、群に対応する少なくとも１つのパラメータに基づいて抽出してもよい。部分群は、Group of Picture（ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、Coding Unit（ＣＵ）、ブロック、Transform Unit（ＴＵ）、Prediction Unit（ＰＵ）などを含むことができる。パーサ（２２０）は、変換係数、クオンタイザパラメータ値、動きベクトルなどのコーディングされた映像シーケンス情報からも抽出を行なってもよい。 パーサ（２２０）は、バッファメモリ（２１５）から受け取った映像シーケンスにエントロピ復号／パーサ動作を実行することでシンボル（２２１）を作成してもよい。 シンボル（２２１）の再構成には、コーディングされた映像ピクチャ又はその部分のタイプ（たとえばピクチャ間及びピクチャ内、ブロック間及びブロック内）と他の因子とに応じて複数の異なる部位を関与させることができる。どの部位を関与させ、どのように関与させるのかを、コーディングされた映像シーケンスからパーサ（２２０）によってパースされた部分群制御情報によって制御することができる。明確