Search

JP-2026077649-A - 動きベクトルの精緻化のための制限されたメモリアクセスウィンドウ

JP2026077649AJP 2026077649 AJP2026077649 AJP 2026077649AJP-2026077649-A

Abstract

【課題】本開示は、動きベクトルの精緻化に関する。 【解決手段】第1のステップとして、初期動きベクトルが、取得される。次いで、初期動 きベクトルの精緻化が、探索空間におけるバイラテラルマッチングによって決定される。 探索空間は、初期動きベクトルによって与えられる位置にあり、1つ以上の分数サンプル 位置を含み、探索空間に属する分数サンプル位置の各々が、ウィンドウ内の整数サンプル のみを評価する予め定義されたタップサイズのフィルタを用いる補間フィルタリングによ って得られ、前記ウィンドウが、前記探索空間におけるバイラテラルマッチングのために アクセス可能な整数サンプルによって形成される。 【選択図】図１４

Inventors

  • セミフ・エセンリク
  • アナンド・メヘル・コトラ
  • ジジエ・ジャオ
  • ハン・ガオ

Assignees

  • ホアウェイ・テクノロジーズ・カンパニー・リミテッド

Dates

Publication Date
20260513
Application Date
20260202
Priority Date
20171009

Claims (20)

  1. 予測ブロックに関する動きベクトルの決定のための装置であって、 前記予測ブロックに関する初期動きベクトルおよびテンプレートを取得し、 探索空間において前記テンプレートとのテンプレートマッチングによって前記初期動き ベクトルの精緻化を決定するように構成された処理回路を含み、 前記探索空間が、前記初期動きベクトルによって与えられる位置にあり、1つ以上の分 数サンプル位置を含み、前記探索空間に属する前記分数サンプル位置の各々が、ウィンド ウ内の整数サンプルのみを評価する予め定義されたタップサイズのフィルタを用いる補間 フィルタリングによって得られ、前記ウィンドウが、前記探索空間における前記テンプレ ートマッチングのためにアクセス可能な整数サンプルによって形成される、装置。
  2. 前記ウィンドウが、前記予測ブロックの初期動きベクトルに対してN整数サンプル列お よびM整数サンプル行として定義され、NおよびMの少なくとも一方が、非ゼロの整数値で ある請求項1に記載の装置。
  3. 前記処理回路が、最も新しい反復において探索空間のより多くの最も一致する位置のう ちの1つによって与えられる方向に反復的に拡張される前記探索空間における前記テンプ レートとのテンプレートマッチングによって前記初期動きベクトルの前記精緻化を決定す るように構成され、 前記ウィンドウが、前記反復の予め定義された最大回数によって定義される請求項1ま たは2に記載の装置。
  4. 前記探索空間が、サブウィンドウ内の各分数サンプルの補間フィルタリングのためにア クセスされるすべての整数サンプルが前記予め定義されたタップサイズの前記補間フィル タに関して前記ウィンドウ内にあるような前記ウィンドウの矩形の前記サブウィンドウを 含む請求項1から3のいずれか一項に記載の装置。
  5. 前記探索空間が、前記ウィンドウの矩形の探索サブウィンドウを含み、前記初期動きベ クトルの前記精緻化が、前記探索サブウィンドウ内の各分数サンプルの補間フィルタリン グのためにアクセスされる前記整数サンプルが前記予め定義されたタップサイズの前記補 間フィルタに関して前記ウィンドウ内にあるような前記矩形の探索サブウィンドウにおけ る前記テンプレートとのテンプレートマッチングによって決定される請求項1または2に記 載の装置。
  6. 前記処理回路が、最も新しい反復において探索空間のより多くの最も一致する位置のう ちの1つによって与えられる方向に反復的に拡張される前記探索空間における前記テンプ レートとのテンプレートマッチングによって前記初期動きベクトルの前記精緻化を決定す るように構成され、前記反復が、前記最も新しい反復の前記探索空間内の少なくとも1つ のサンプルが前記探索サブウィンドウの外にあるときに終了される請求項5に記載の装置 。
  7. 前記補間フィルタが、前記分数位置が整数サンプルのそれぞれの水平方向のラインまた は垂直方向のライン上にあるとき、K個の水平方向または垂直方向の何れの整数サンプル も評価する1次元フィルタである請求項4に記載の装置。
  8. 前記探索空間が、 - 前記サブウィンドウの上もしくは下に隣接し、整数サンプルの水平方向のライン上 にあるか、または - 前記サブウィンドウの左側もしくは右側に隣接し、整数サンプルの垂直方向のライ ン上にあるか の何れの、前記サブウィンドウの外にある分数位置をさらに含む請求項5に記載の装置。
  9. 予測ブロックに分割されたビデオ画像をビットストリームに符号化するための符号化装 置であって、 請求項1から8のいずれか一項に記載の予測ブロックに関する動きベクトルの決定のため の装置と、 前記予測ブロックと決定された動きベクトルに基づく位置に予測ブロックによって与え られるプレディクタとの間の差を符号化するため、ならびに符号化された差および前記初 期動きベクトルを含むビットストリームを生成するための符号化回路とを含む、符号化装 置。
  10. 予測ブロックに分割されたビデオ画像をビットストリームから復号するための復号装置 であって、 初期動きベクトル、および予測ブロックと精緻化された動きベクトルによって指定され る位置に予測ブロックによって与えられるプレディクタとの間の符号化された差を、前記 ビットストリームから解析するための解析ユニットと、 請求項1から8のいずれか一項に記載の前記予測ブロックに関する前記精緻化された動き ベクトルの決定のための装置と、 解析された差と、前記精緻化された動きベクトルによって指定される前記位置に前記予 測ブロックによって与えられる前記プレディクタとの和として前記予測ブロックを再構築 するための復号回路とを含む、復号装置。
  11. 予測ブロックに関する動きベクトルの決定のための方法であって、 前記予測ブロックに関する初期動きベクトルおよびテンプレートを取得するステップ、 探索空間において前記テンプレートとのテンプレートマッチングによって前記初期動き ベクトルの精緻化を決定するステップを含み、 前記探索空間が、前記初期動きベクトルによって与えられる位置にあり、1つ以上の分 数サンプル位置を含み、前記探索空間に属する前記分数サンプル位置の各々が、ウィンド ウ内の整数サンプルのみを評価する予め定義されたタップサイズのフィルタを用いる補間 フィルタリングによって得られ、前記ウィンドウが、前記探索空間における前記テンプレ ートマッチングのためにアクセス可能な整数サンプルによって形成される、方法。
  12. 前記ウィンドウが、前記予測ブロックの初期動きベクトルに対してN整数サンプル列お よびM整数サンプル行として定義され、NおよびMが、非ゼロの整数値である請求項11に記 載の方法。
  13. 前記初期動きベクトルの前記精緻化が、最も新しい反復において探索空間のより多くの 最も一致する位置のうちの1つによって与えられる方向に反復的に拡張される前記探索空 間における前記テンプレートとのテンプレートマッチングによって決定され、 前記ウィンドウが、前記反復の予め定義された最大回数によって定義される請求項11ま たは12に記載の方法。
  14. 前記探索空間が、サブウィンドウ内の各分数サンプルの補間フィルタリングのためにア クセスされるすべての整数サンプルが前記予め定義されたタップサイズの前記補間フィル タに関して前記ウィンドウ内にあるような前記ウィンドウの矩形の前記サブウィンドウを 含む請求項11から13のいずれか一項に記載の方法。
  15. 前記探索空間が、前記ウィンドウの矩形の探索サブウィンドウを含み、前記初期動きベ クトルの前記精緻化が、前記探索サブウィンドウ内の各分数サンプルの補間フィルタリン グのためにアクセスされる前記整数サンプルが前記予め定義されたタップサイズの前記補 間フィルタに関して前記ウィンドウ内にあるような前記矩形の探索サブウィンドウにおけ る前記テンプレートとのテンプレートマッチングによって決定される請求項11または12に 記載の方法。
  16. 前記初期動きベクトルの前記精緻化が、最も新しい反復において探索空間のより多くの 最も一致する位置のうちの1つによって与えられる方向に反復的に拡張される前記探索空 間における前記テンプレートとのテンプレートマッチングによって決定され、前記反復が 、前記最も新しい反復の前記探索空間内の少なくとも1つのサンプルが前記探索サブウィ ンドウの外にあるときに終了される請求項15に記載の方法。
  17. 前記補間フィルタが、前記分数位置が整数サンプルのそれぞれの水平方向のラインまた は垂直方向のライン上にあるとき、K個の水平方向または垂直方向の何れの整数サンプル を評価する1次元フィルタである請求項14に記載の方法。
  18. 前記探索空間が、 - 前記サブウィンドウの上もしくは下に隣接し、整数サンプルの水平方向のライン上 にあるか、または - 前記サブウィンドウの左側もしくは右側に隣接し、整数サンプルの垂直方向のライ ン上にあるか の何れの、前記サブウィンドウの外にある分数位置をさらに含む請求項17に記載の方法。
  19. 予測ブロックに分割されたビデオ画像をビットストリームに符号化するための符号化方 法であって、 請求項11から18のいずれか一項に記載の予測ブロックに関する動きベクトルを決定する ステップと、 前記予測ブロックと決定された動きベクトルに基づく位置に予測ブロックによって与え られるプレディクタとの間の差を符号化し、符号化された差および前記初期動きベクトル を含むビットストリームを生成するステップとを含む、符号化方法。
  20. 予測ブロックに分割されたビデオ画像をビットストリームから復号するための復号方法 であって、 初期動きベクトル、および予測ブロックと精緻化された動きベクトルによって指定され る位置に予測ブロックによって与えられるプレディクタとの間の符号化された差を、前記 ビットストリームから解析するステップと、 請求項11から18のいずれか一項に記載の前記予測ブロックに関する前記精緻化された動 きベクトルを決定するステップと、 解析された差と、前記精緻化された動きベクトルによって指定される前記位置に前記予 測ブロックによって与えられる前記プレディクタとの和として前記予測ブロックを再構築 するステップとを含む、復号方法。

Description

本発明は、ビデオの符号化および復号中に使用されてもよい動きベクトルの決定および 精緻化に関する。 現在のハイブリッドビデオコーデックは、予測符号化を使用する。ビデオシーケンスの ピクチャは、ピクセルのブロックに下位分割され、次いで、これらのブロックが、符号化 される。ブロックをピクセル毎に符号化する代わりに、ブロック全体が、ブロックの空間 的または時間的に近い既に符号化されたピクセルを使用して予測される。エンコーダは、 ブロックとそのブロックの予測との間の差のみをさらに処理する。さらなる処理は、概し て、変換領域におけるブロックピクセルの係数への変換を含む。次いで、ビットストリー ムを形成するために、係数が、量子化によってさらに圧縮され、エントロピー符号化によ ってさらにコンパクトにされてもよい。ビットストリームは、デコーダが符号化されたビ デオを復号することを可能にする任意のシグナリング情報をさらに含む。たとえば、シグ ナリングは、入力ピクチャのサイズ、フレームレート、量子化ステップインジケーション 、ピクチャのブロックに適用される予測などのエンコーダ設定に関する設定を含んでもよ い。 時間的予測は、ビデオのフレームとも呼ばれるピクチャの間の時間的相関を利用する。 時間的予測はインター予測とも呼ばれるが、それは異なるビデオフレームの間(インター) の依存関係を使用する予測であるからである。したがって、現在のブロックとも呼ばれる 符号化されているブロックは、参照ピクチャと呼ばれる1つ以上の既に符号化されたピク チャから予測される。参照ピクチャは、ビデオシーケンスの表示順序で、現在のブロック がある現在のピクチャよりも先のピクチャであるとは限らない。エンコーダは、表示順序 とは異なる符号化順序でピクチャを符号化してもよい。現在のブロックの予測として、参 照ピクチャ内の同一位置のブロックが、決定されてもよい。同一位置のブロックは、参照 ピクチャ内で、現在のピクチャ内の現在のブロックと同じ位置にあるブロックである。そ のような予測は、動きのないピクチャの領域、つまり、ピクチャ毎に動かないピクチャの 領域に関しては正確である。 動きを考慮に入れるプレディクタ、つまり、動き補償されたプレディクタを得るために 、現在のブロックの予測を決定するとき、概して、動き推定が使用される。したがって、 現在のブロックは、同一位置のブロックの位置から動きベクトルによって与えられた距離 にある参照ピクチャ内のブロックによって予測される。デコーダが現在のブロックの同じ 予測を決定することを可能にするために、動きベクトルが、ビットストリーム内でシグナ リングされてもよい。ブロックの各々に関する動きベクトルをシグナリングすることによ って引き起こされるシグナリングのオーバーヘッドをさらに削減するために、動きベクト ルそれ自身が、推定されてもよい。動きベクトルの推定は、空間および/または時間領域 において隣接するブロックの動きベクトルに基づいて実行されてもよい。 現在のブロックの予測は、2つ以上の参照ピクチャから得られた予測を重み付けするこ とによって1つの参照ピクチャを使用して計算されてもよい。参照ピクチャは、隣接する ピクチャ、つまり、表示順序で現在のピクチャの直前のピクチャおよび/または直後のピ クチャが現在のピクチャに類似している可能性が最も高いので、隣接するピクチャであっ てもよい。しかし、概して、参照ピクチャは、表示順序で現在のピクチャの前または後お よびビットストリーム(復号順序)で現在のピクチャの前の任意のその他のピクチャであっ てもよい。これは、たとえば、ビデオコンテンツにおける遮蔽および/または非線形の動 きの場合に利点をもたらしてもよい。したがって、参照ピクチャの識別情報も、ビットス トリーム内でシグナリングされてもよい。 インター予測の特別なモードは、2つの参照ピクチャが現在のブロックの予測を生成す る際に使用されるいわゆる双方向予測である。特に、それぞれの2つの参照ピクチャにお いて決定された2つの予測が、現在のブロックの予測信号へと組み合わされる。双方向予 測は、単方向予測、つまり、単一の参照ピクチャのみを使用する予測よりも現在のブロッ クのより正確な予測をもたらしてもよい。より正確な予測は、現在のブロックおよび予測 のピクセルの間のより小さな差(「残差」とも呼ばれる)につながり、それらの差は、より 効率的に符号化される、つまり、より短いビットストリームへと圧縮されてもよい。概し て、2つより多くの参照ピクチャが、現在のブロックを予測するためにそれぞれの2つより 多くの参照ブロックを発見するために使用されてもよく、つまり、多参照インター予測が 、適用されうる。したがって、多参照予測という用語は、双方向予測および2つより多く の参照ピクチャを使用する予測を含む。 より正確な動き推定を提供するために、参照ピクチャの解像度は、ピクセル間のサンプ ルを補間することによって高められてもよい。分数ピクセル補間が、最も近いピクセルの 加重平均によって実行されうる。半ピクセルの解像度の場合、たとえば、概して、双一次 補間が使用される。その他の分数ピクセルは、それぞれの最も近いピクセルと予測されて いるピクセルとの間の距離の逆数によって重み付けされた最も近いピクセルの平均として 計算される。 動きベクトルの推定は、現在のブロックと参照ピクチャ内で候補動きベクトルによって 指し示される対応する予測ブロックとの間で類似性が計算される計算が複雑なタスクであ る。概して、探索領域は、画像のM×Mサンプルを含み、M×M個の候補位置のうちのサンプ ル位置の各々が、テストされる。テストは、N×Nの参照ブロックCと探索領域のテストさ れる候補位置にあるブロックRとの間の類似性の尺度の計算を含む。その単純さから、差 分絶対値和(SAD)は、この目的で頻繁に使用される尺度であり、 によって与えられる。 上の式において、xおよびyは、探索領域内の候補位置を定義し、一方、インデックスi およびjは、参照ブロックCおよび候補ブロックR内のサンプルを表す。候補位置は、多く の場合、ブロックの変位またはオフセットと呼ばれ、これは、ブロックマッチングを、探 索領域内で参照ブロックをシフトし、参照ブロックCと探索領域の重なり合う部分との間 の類似性を計算することとして表現することを反映する。複雑さを減らすために、通常、 候補動きベクトルの数が、候補動きベクトルを特定の探索空間に制限することによって削 減される。探索空間は、たとえば、現在の画像内の現在のブロックの位置に対応する参照 ピクチャ内の位置の周りのピクセルの数および/または位置によって定義されてもよい。M ×M個すべての候補位置xおよびyに関してSADを計算した後、最も一致するブロックRは、 参照ブロックCとの最も高い類似性に対応する最も低いSADをもたらす位置のブロックであ る。一方、候補動きベクトルは、隣接するブロックの動きベクトルによって形成された候 補動きベクトルのリストによって定義されてもよい。 通常、動きベクトルは、エンコーダ側で少なくとも部分的に決定され、符号化されたビ ットストリーム内でデコーダにシグナリングされる。しかし、動きベクトルは、デコーダ においても導出されてもよい。そのような場合、現在のブロックは、デコーダにおいて利 用可能でなく、参照ピクチャ内で候補動きベクトルが指し示すブロックとの類似性を計算 するために使用されることができない。したがって、現在のブロックの代わりに、既に復 号されたブロックのピクセルから構築されるテンプレートが使用される。たとえば、現在 のブロックに隣接する既に復号されたピクセルが、使用されてもよい。そのような動き推 定は、シグナリングを削減するという利点をもたらし、つまり、動きベクトルは、エンコ ーダとデコーダとの両方において同じ方法で導出され、したがって、シグナリングは、必 要とされない。一方、そのような動き推定の正確性は、より低くてもよい。 正確さとシグナリングのオーバーヘッドとの間の折り合いをつけるために、動きベクト ルの推定は、2つのステップ、つまり、動きベクトルの導出および動きベクトルの精緻化 に分割されてもよい。たとえば、動きベクトルの導出は、候補のリストからの動きベクト ルの選択を含んでもよい。そのような選択された動きベクトルは、たとえば、探索空間内 の探索によってさらに精緻化されてもよい。探索領域内の探索は、各候補動きベクトルに 関して、つまり、候補動きベクトルが指し示すブロックの各候補位置に関してコスト関数 を計算することに基づく。 文献JVET-D0029: Decoder-Side Motion Vector Refinement Based on Bilateral Templ ate Matching、X. Chen、J. An、J. Zheng(文献は、http://phenix.it-sudparis.eu/jvet /のサイトにおいて見つけられうる)は、整数ピクセルの解像度の第1の動きベクトルが発 見され、第1の動きベクトルの周りの探索空間内の半ピクセルの解像度による探索によっ てさらに精緻化される動きベクトルの精緻化を示す。 動きベクトルの精緻化を実行するためには、少なくとも、現在のブロックが精緻化を実 行するために必要なサンプル、つまり、探索空間に対応するサンプルおよび探索空間にお けるテンプレートマッチングが実行されるときにアクセスされうるサンプルをメモリに記 憶する必要がある。 外部メモリアクセスは、現在のハードウェアのアーキテクチャおよび/またはソフトウ ェアの実装の重要な設計パラメータである。これは、外部メモリアクセスが内部メモリ利 用に比べて処理を遅くするという事実に原因がある。一方、チップ上の内部メモリは、た とえば、チップサイズの実装が原因で制限される。 動きベクトルの導出および精緻化が使用されてもよいエンコーダの例示的な構造を示すブロック図である。動きベクトルの導出および精緻化が使用されてもよいデコーダの例示的な構造を示すブロック図である。双方向予測に好適な例示的なテンプレートマッチングを示す概略図である。単方向および双方向予測に好適な例示的なテンプレートマッチングを示す概略図である。ビットストリーム内で精緻化される初期動きベクトルを提供することなく動作する動きベクトルの導出の段階を示すブロック図である。本発明の実施形態を実装するための例示的なハードウェアを示すブロック図である。符号化ブロックに関して、アクセスされるために利用可能であるべきサンプルをともなう例示的なウィンドウを示す概略図である。反復的な探索空間を示す概略図である。補間フィルタリングによる水平方向のメモリアクセスウィンドウの拡張を示す概略図である。分数サンプル位置に関するサブウィンドウの定義を示す概略図である。メモリアクセスウィンドウの例示的な定義を示す概略図である。動きベクトルの精緻化のための探索空間の位置を形成することを許される分数位置を含む例示的な位置を示す概略図である。動きベクトルの精緻化のための探索空間の位置を形成することを許されない例示的な分数位置を示す概略図である。探索空間のどの位置が動きベクトルの精緻化のためにテンプレートマッチングによってテストされることを許されるかを決定するための方法を示す流れ図である。動きベクトルの精緻化のための探索空間の位置を形成することを許される分数位置を含む例示的な位置を示す概略図である。メモリアクセスウィンドウにおける反復的な精緻化プロセスを示す流れ図である。探索サブウィンドウにおける反復的な精緻化プロセスを示す流れ図である。 本開示は、参照ピクチャ内の分数位置を取得するた