Search

JP-2026077255-A - メッシュ復号装置、メッシュ復号方法及びプログラム

JP2026077255AJP 2026077255 AJP2026077255 AJP 2026077255AJP-2026077255-A

Abstract

【課題】スキップフレーム等の特殊なケースにも対応し、正しくビットを抽出すること。 【解決手段】本発明に係るメッシュ復号装置２００において、基本メッシュ復号部２０２は、基本メッシュビットストリームを、ＩフレームのビットストリームとＰフレームのビットストリームとスキップフレームのビットストリームとに分類し、サブメッシュデータユニットのデータを抽出する。 【選択図】図５Ａ

Inventors

  • 徐 建鋒
  • 河村 圭

Assignees

  • ＫＤＤＩ株式会社

Dates

Publication Date
20260513
Application Date
20241025

Claims (6)

  1. メッシュ復号装置であって、 アトラスビットストリームを復号して制御情報を出力するように構成されているアトラスデータ復号部と、 基本メッシュビットストリームを復号して基本メッシュを出力するように構成されている基本メッシュ復号部と、を備え、 前記基本メッシュ復号部は、前記基本メッシュビットストリームを、ＩフレームのビットストリームとＰフレームのビットストリームとスキップフレームのビットストリームとに分類し、サブメッシュデータユニットから復号用のサブメッシュデータを抽出することを特徴とするメッシュ復号装置。
  2. 前記サブメッシュデータは、前記サブメッシュＩＤを有する基本メッシュサブメッシュデータユニットから、サブメッシュＩＤがない場合、当サブメッシュの基本メッシュサブメッシュデータユニットから、抽出プロセスを呼び出して抽出されることを特徴とする請求項１に記載のメッシュ復号装置。
  3. 前抽出プロセスにおいて、 「ｍｏｒｅ_ｒｂｓｐ_ｄａｔａ（）」が存在する場合、前記サブメッシュデータユニットのデータは 、「ｂｍｅｓｈ_ｓｕｂｍｅｓｈ_ｕｎｉｔ（）」における 「ｅｍｂｅｄｄｅｄ_ｅｘｔｅｒｎａｌ_ｄａｔａ_ｂｉｔ」を連結して抽出され、前記抽出する処理は、前記「ｍｏｒｅ_ｒｂｓｐ_ｄａｔａ（）」がＦＡＬＳＥを返すまで続けられ、 「ｍｏｒｅ_ｒｂｓｐ_ｄａｔａ（）」が存在しない場合、抽出された前記サブメッシュデータユニットのデータは、空にされることを特徴とする請求項２に記載のメッシュ復号装置。
  4. 前記基本メッシュ復号部は、 前記基本メッシュのフレームタイプがＩフレーム或いはＰフレームである場合、前記サブメッシュデータユニットのデータは 、「ｂｍｅｓｈ_ｓｕｂｍｅｓｈ_ｕｎｉｔ（）」における 「ｅｍｂｅｄｄｅｄ_ｅｘｔｅｒｎａｌ_ｄａｔａ_ｂｉｔ」を連結して抽出され、前記抽出する処理は、前記「ｍｏｒｅ_ｒｂｓｐ_ｄａｔａ（）」がＦＡＬＳＥを返すまで続けられ、 前記基本メッシュのフレームタイプがスキップフレームである場合、抽出された前記サブメッシュデータは、空にされることを特徴とする請求項４に記載のメッシュ復号装置。
  5. メッシュ復号方法であって、 アトラスビットストリームを復号して制御情報を出力する工程Ａと、 基本メッシュビットストリームを復号して基本メッシュを出力する工程Ｂと、を有し、 前記工程Ｂにおいて、前記基本メッシュビットストリームを、ＩフレームのビットストリームとＰフレームのビットストリームとスキップフレームのビットストリームとに分類し、サブメッシュデータユニットのデータを抽出することを特徴とするメッシュ復号方法。
  6. コンピュータを、メッシュ復号装置として機能させるプログラムであって、 前記メッシュ復号装置は、 アトラスビットストリームを復号して制御情報を出力するように構成されているアトラスデータ復号部と、 基本メッシュビットストリームを復号して基本メッシュを出力するように構成されている基本メッシュ復号部と、を備え、 前記基本メッシュ復号部は、前記基本メッシュビットストリームを、ＩフレームのビットストリームとＰフレームのビットストリームとスキップフレームのビットストリームとに分類し、サブメッシュデータユニットのデータを抽出することを特徴とするプログラム。

Description

本発明は、メッシュ復号装置、メッシュ復号方法及びプログラムに関する。 非特許文献４には、非特許文献５のフレームワークを活用し、メッシュを大まかな基本メッシュと詳細な変位量とに分けて復号し、基本メッシュについて基本メッシュ復号部によって頂点座標やＣｏｎｎｅｃｔｉｖｉｔｙやＵＶ座標（Ａｔｔｒｉｂｕｔｅの一種）等の情報を復号し、アトラスデータ復号部によって復号したアトラスを加えて基本メッシュ及び変位量からメッシュを再建する技術が開示されている。 また、上述の基本メッシュについての復号では、イントラフレーム（Ｉフレーム）による復号、インターフレーム（Ｐフレーム）による復号及びスキップフレームによる復号のいずれかを使う。 なお、非特許文献４には、メッシュ以外にテクスチャという映像データをＡｔｔｒｉｂｕｔｅの一種として映像復号部で復号することが開示されている。 Khaled Mammou, Jungsun Kim, Alexis M Tourapis, Dimitri Podborski, and Krasimir Kolarov, “[V-CG] Apple’s Dynamic Mesh Coding CfP Response,” April 2022, ISO/IEC JTC 1/SC 29/WG 7 m59281Ｇｏｏｇｌｅ Ｄｒａｃｏ、２０２２年５月２６日アクセス［Ｏｎｌｉｎｅ］、https://google.github.io/dracoJean-Eudes Marvie, Olivier Mocquard, “[V-DMC][EE4.4-related] An efficient EdgeBreaker implementation,” April 2023, ISO/IEC JTC 1/SC 29/WG 7 m63344” Study of technologies for Video-based mesh coding,” ISO/IEC JTC 1/SC 29/WG7 N00960, July 2024“Information technology - Coded Representation of Immersive Media - Part 5: Visual Volumetric Video-based Coding (V3C) and Video-based Point Cloud Compression (V-PCC),” ISO/IEC JTC 1/SC 29/WG 7, ISO/IEC 23090-5:2021(2E) 図１は、一実施形態に係るメッシュ処理システム１の構成の一例を示す図である。図２は、一実施形態に係るメッシュ復号装置２００の機能ブロックの一例を示す図である。図３は、基本メッシュ及び細分割メッシュの一例を示す図である。図４は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２の機能ブロックの一例を示す図である。図５Ａは、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２の分離部２０２Ａの処理の一例を説明するための図である。図５Ｂは、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２の分離部２０２Ａの処理の一例を説明するための図である。図６は、「ｒｂｓｐ_ｔｒａｉｌｉｎｇ_ｂｉｔｓ（）」のシンタックスの構成の一例を示す図である。図７は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２のイントラ復号部２０２Ｂの機能ブロックの一例を示す図である。図８は、Ｐフレームの基本メッシュの頂点とＩフレームの基本メッシュの頂点との間の対応関係の一例を示す図である。図９は、ＡＳＰＳの一例を示す図である。図１０は、ＡＦＰＳの一例を示す図である。図１１は、ＡＴＨの一例を示す図である。図１２は、基本メッシュビットストリームの構成の一例について示す図である。図１３は、ＢＭＳＰＳの一例を示す図である。図１４は、ＢＭＦＰＳの一例を示す図である。図１５は、ＢＭＳＨの一例を示す図である。図１６は、ＤＳＰＳの一例を示す図である。図１７は、ＤＦＰＳの一例を示す図である。図１７は、ＤＨの一例を示す図である。図１９は、基本メッシュのＡｔｔｒｉｂｕｔｅ関連の制御信号の一例を示す図である。図２０は、インター復号部２０２Ｅの機能ブロックの一例を示す図である。図２１は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２のインター復号部２０２Ｅの動きベクトル予測部２０２Ｅ３による復号対象の頂点のＭＶＰの算出方法の一例を説明するための図である。図２２は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２のメッシュバッファ部２０２Ｃについて説明するための図である。図２３は、ＢＭＳＰＳの一例を示す図である。図２４は、ＮＡＬヘッダの一例を示す図である。 以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。 ＜第１実施形態＞ 以下、図１～図２４を参照して、本実施形態に係るメッシュ処理システムについて説明する。 図１は、本実施形態に係るメッシュ処理システム１の構成の一例を示す図である。図１に示すように、メッシュ処理システム１は、メッシュ符号化装置１００及びメッシュ復号装置２００を備えている。 図２は、本実施形態に係るメッシュ復号装置２００の機能ブロックの一例を示す図である。 図２に示すように、メッシュ復号装置２００は、多重分離部２０１と、基本メッシュ復号部２０２と、細分割部２０３と、メッシュ復号部２０４と、パッチ統合部２０５と、変位量復号部２０６と、映像復号部２０７と、アトラスデータ復号部２０８とを有する。 ここで、基本メッシュ復号部２０２、細分割部２０３、メッシュ復号部２０４及び変位量復号部２０６は、メッシュを分割したパッチ単位で処理を行うように構成されており、その後、これらの処理結果についてパッチ統合部２０５で統合されるように構成されていてもよい。 図３の例では、メッシュが、基本面１及び２で構成されるパッチ１と、基本面３及び４で構成されるパッチ２とに分割されている。 多重分離部２０１は、多重化されたビットストリームを、基本メッシュビットストリームと変位量ビットストリームとテクスチャビットストリームとアトラス（ａｔｌａｓ）ビットストリームとに分離するように構成されている。 細分割部２０３は、制御情報（第１制御情報及び第２制御情報）によって示された細分割手法により、基本メッシュ復号部２０２によって復号された基本メッシュから、細分割頂点及びそれらの接続情報を生成して出力するように構成されている。基本メッシュは、１つのサブメッシュ又は複数のサブメッシュから構成されている。 ここで、基本メッシュ、追加された細分割頂点、及び、それらの接続情報を、併せて「細分割メッシュ」と呼ぶ。また、サブメッシュ、追加された細分割頂点、及び、それらの接続情報を、併せて「細分割サブメッシュ」と呼ぶ。 メッシュ復号部２０４は、制御情報及び細分割メッシュ及び細分割頂点法線及び変位量を用いて、復号メッシュを生成して出力するように構成されている。 変位量復号部２０６は、制御情報に基づき変位量ビットストリームを復号して変位量を生成して出力するように構成されている。 映像復号部２０７は、映像コーデックによってテクスチャを復号して出力するように構成されている。 アトラスデータ復号部２０８は、アトラスビットストリームを復号して制御情報を出力するように構成されている。かかる制御信号は、メタデータとして基本メッシュ復号部２０２、細分割部２０３、メッシュ復号部２０４、変位量復号部２０６及び映像復号部２０７で利用されてもよい。 ＜基本メッシュ復号部２０２＞ 基本メッシュ復号部２０２は、基本メッシュビットストリームを復号し、基本メッシュを生成して出力するように構成されている。 ここで、基本メッシュは、３次元空間における複数の頂点と、かかる複数の頂点を接続する辺とで構成される。 基本メッシュ復号部２０２は、例えば、非特許文献２に示すＤｒａｃｏ又は非特許文献３に記載されている技術を用いて、基本メッシュビットストリームを復号するように構成されていてもよい。 図４に示すように、基本メッシュ復号部２０２は、分離部２０２Ａと、イントラ復号部２０２Ｂと、メッシュバッファ部２０２Ｃと、接続情報復号部２０２Ｄと、インター復号部２０２Ｅとを備える。 （分離部２０２Ａ） 分離部２０２Ａは、基本メッシュビットストリームを、ＩフレームのビットストリームとＰフレームのビットストリームとに分類し、サブメッシュデータユニットのデータを抽出するように構成されている。 具体的には、図５Ａに示すように、分離部２０２Ａは、サブメッシュＩＤ「ｓｕｂｍｅｓｈＩＤ」を有する基本メッシュのサブメッシュデータユニットであるｂｍｅｓｈ_ｓｕｂｍｅｓｈ_ｕｎｉｔ（ｓｕｂｍｅｓｈＩＤ）から、以下の抽出プロセスを呼び出して、復号用のサブメッシュデータを抽出する。 [抽出プロセス] サブメッシュＩＤ「ｓｕｂｍｅｓｈＩＤ」を有するサブメッシュデータユニットの抽出プロセスは、以下のように行われる。 - 「ｍｏｒｅ_ｒｂｓｐ_ｄａｔａ（）」 が存在する場合、抽出プロセスの出力データであるサブメッシュデータは、「ｂｍｅｓｈ_ｓｕｂｍｅｓｈ_ｕｎｉｔ（ｓｕｂｍｅｓｈＩＤ）」における 「ｅｍｂｅｄｄｅｄ_ｅｘｔｅｒｎａｌ_ｄａｔａ_ｂｉｔ」を連結して抽出される。かかる処理は、「ｍｏｒｅ_ｒｂｓｐ_ｄａｔａ（）」がＦＡＬＳＥを返すまで続けられる。 - 「ｍｏｒｅ_ｒｂｓｐ_ｄａｔａ（）」 が存在しない場合、抽出されたサブメッシュデータは、空にされる（すなわち、長さはゼロビットである）。 なお、「ｍｏｒｅ_ｒｂｓｐ_ｄａｔａ（）」 は、以下のように定義される。 - 生のバイト列ペイロード（ＲＢＳＰ、例えば、図５Ａにおける「ｂｍｅｓｈ_ｓｕｂｍｅｓｈ_ｌａｙｅｒ_ｒｂｓｐ（））」にデータが残っていない場合、「ｍｏｒｅ_ｒｂｓｐ_ｄａｔａ（）」の返り値は、ＦＡＬＳＥになる。 - そうでない場合、ＲＢＳＰデータ内で最も右側にある１のビット（最下位ビット）が検索される。かかるビットの位置は、図６に示す「ｒｂｓｐ_ｔｒａｉｌｉｎｇ_ｂｉｔｓ（）」の最初のビット（ｒｂｓｐ_ｓｔｏｐ_ｏｎｅ_ｂｉｔ）である。「ｒｂｓｐ_ｔｒａｉｌｉｎｇ_ｂｉｔｓ（）」に基づいて、以下が適用される。 - 「ｒｂｓｐ_ｔｒａｉｌｉｎｇ_ｂｉｔｓ（）」の前のＲＢＳＰにデータが残っている場合、「ｍｏｒｅ_ｒｂｓｐ_ｄａｔａ（）」の返り値はＴＲＵＥ になる。 - そうでない場合、「ｍｏｒｅ_ｒｂｓｐ_ｄａｔａ（）」の返り値は、ＦＡＬＳＥになる。 なお、基本メッシュのサブメッシュデータユニットであるｂｍｅｓｈ_ｓｕｂｍｅｓｈ_ｕｎｉｔ（）がサブメッシュＩＤ「ｓｕｂｍｅｓｈＩＤ」を持っていない場合は、抽出プロセスの対象である基本メッシュのサブメッシュデータユニットを当フレームの当サブメッシュのものにしてもよい。 具体的には、図５Ｂに示すように、分離部２０２Ａは、当サブメッシュのサブメッシュデータユニットであるｂｍｅｓｈ_ｓｕｂｍｅｓｈ_ｕｎｉｔ（）から、以下の抽出プロセスを呼び出して、復号用のサブメッシュデータを抽出する。 [抽出プロセス] 当サブメッシュのサブメッシュデータユニットの抽出プロセスは、以下のように行われる。 - 「ｍｏｒｅ_ｒｂｓｐ_ｄａｔａ（）」 が存在する場合、サブメッシュデータは、「ｂｍｅｓｈ_ｓｕ