Search

JP-2026076618-A - ３Ｄデータ復号装置および３Ｄデータ符号化装置

JP2026076618AJP 2026076618 AJP2026076618 AJP 2026076618AJP-2026076618-A

Abstract

【課題】特定のタイルを復号するために、タイルとコーデックタイルとの対応関係を復号することにより、あるタイルを復号するために必要なコーデックタイルを並列に復号することができ、特定のタイルを復号する時間を短縮し、冗長性のない3Dデータを効率的に符号化・復号することを目的とする。 【解決手段】 メッシュデータもしくは点群データを復号する3Dデータ復号装置において、メッシュデータもしくは点群データが符号化された符号化データからアトラス情報を復号するアトラス情報復号部を備え、アトラス情報復号部は、タイル/アトリビュートタイル情報と、タイ ル/アトリビュートタイルとコーデックタイルの関係を示す付加情報を復号することを特 徴とする。 【選択図】図４

Inventors

  • 杉本 翔
  • 徳毛 靖昭
  • 洪 秀俊
  • 猪飼 知宏

Assignees

  • シャープ株式会社

Dates

Publication Date
20260512
Application Date
20241024

Claims (8)

  1. メッシュデータもしくは点群データを復号する3Dデータ復号装置において、メッシュデータもしくは点群データが符号化された符号化データからアトラス情報を復号するアトラス情報復号部を備え、アトラス情報復号部は、タイル情報と、タイルとコーデックタイルの関係を示す付加情報を復号することを特徴とする3Dデータ復号装置。
  2. メッシュデータもしくは点群データを復号する3Dデータ復号装置において、メッシュデータもしくは点群データが符号化された符号化データからアトラス情報を復号するアトラス情報復号部を備え、アトラス情報復号部は、アトリビュートタイル情報と、アトリビュートタイルとコーデックタイルの関係を示す付加情報を復号することを特徴とする3Dデータ復号装置。
  3. 上記付加情報は、タイル情報とコーデックタイル情報の対応関係を示すマッピングフラグであることを特徴とする請求項１または２に記載の3Dデータ復号装置。
  4. 上記付加情報は、タイル情報とコーデックタイル情報の対応関係を示すコーデックタイルのインデックスであることを特徴とする請求項１または２に記載の3Dデータ復号装置。
  5. 上記付加情報は、タイルの分割とコーデックタイルの分割が同じであるかどうかを示すフラグを含み、上記アトラス情報復号部において、各i番目のタイルが変位サブビットス トリームのi番目のコーデックタイルの領域のみを含む場合、第１の値を復号し、それ以 外の場合、第２の値を復号することを特徴とする請求項１または３または４に記載の3Dデータ復号装置。
  6. 上記付加情報は、アトリビュートタイルの分割とコーデックタイルの分割が同じであるかどうかを示すフラグを含み、上記アトラス情報復号部において、各i番目のアトリビュ ートタイルが属性ビデオサブビットストリームのi番目のコーデックタイルの領域のみを 含む場合、第１の値を復号し、それ以外の場合、第２の値を復号することを特徴とする請求項２または３または４に記載の3Dデータ復号装置。
  7. メッシュデータもしくは点群データを復号する3Dデータ符号化装置において、メッシュデータもしくは点群データが符号化された符号化データからアトラス情報を符号化するアトラス情報符号化部を備え、アトラス情報符号化部は、タイル情報と、タイルとコーデックタイルの関係を示す付加情報を符号化することを特徴とする3Dデータ符号化装置。
  8. メッシュデータもしくは点群データを復号する3Dデータ符号化装置において、メッシュデータもしくは点群データが符号化された符号化データからアトラス情報を符号化するアトラス情報符号化部を備え、アトラス情報符号化部は、アトリビュートタイル情報と、アトリビュートタイルとコーデックタイルの関係を示す付加情報を符号化することを特徴とする3Dデータ符号化装置。

Description

本発明の実施形態は、3Dデータ符号化装置および3Dデータ復号装置に関する。 3Dデータを効率的に伝送または記録するために、3Dデータを2次元画像に変換し、動画 像符号化方式で符号化し、符号化データを生成する3Dデータ符号化装置、および、当該符号化データから2次元画像を復号して、3Dデータを再構成する3Dデータ復号装置がある。 具体的な3Dデータ符号化方式としては、例えば、MPEG-IのISO/IEC 23090-5 V3C (Volumetric Video-based Coding) and V-PCC (Video-based Point Cloud Compression)が挙げ られる。V3Cは、点の位置と属性情報から構成されるポイントクラウドを符号化、復号す ることができる。さらに、ISO/IEC 23090-12 (MPEG Immersive Video、MIV)及び標準化中のISO/IEC 23090-29 (Video-based Dynamic Mesh Coding、V-DMC)により、多視点映像、 メッシュ映像の符号化、復号にも利用される。V-DMC方式は、非特許文献１に最新のドラ フト文書が開示されている。 これら3Dデータ符号化方式では、3Dデータを構成するジオメトリやアトリビュートを画像としてH.265/HEVC (High Efficiency Video Coding)、H.266/VVC (Versatile Video Coding)のような動画像符号化方式を用いて符号化・復号する。 点群の場合には、ジオメトリ画像は投影面へのデプスであり、アトリビュート画像は、アトリビュートを投影面に投影された画像である。 非特許文献１のような3Dデータ（メッシュ）は、ベースメッシュ、メッシュ変位、テクスチャマッピング画像から構成される。ベースメッシュの符号化はDracoのような頂点符 号化方式が利用できる。メッシュ変位の符号化は、メッシュ変位を2次元化したメッシュ 変位画像を動画コーデックで符号化する方法のほか、算術符号化により直接符号化する方法がある。テクスチャマッピング画像は、アトリビュート画像として動画コーデックで符号化する。動画コーデックは上述のHEVC、VVCを用いることができる。 Study of technologies for Video-based mesh coding, ISO/IEC JTC 1/SC 29/WG 7 N0960, 2024-09-03 本実施形態に係る3Dデータ伝送システムの構成を示す概略図である。符号化ストリームのデータの階層構造を示す図である。3Dデータ復号装置31の概略構成を示す機能ブロック図である。アトラス情報復号部302の構成を示す機能ブロック図である。ベースメッシュ復号部303の構成を示す機能ブロック図である。メッシュ変位復号部305の構成を示す機能ブロック図である。メッシュ再構成部307の構成を示す機能ブロック図である。シーケンスレベルのメッシュデータ拡張符号化パラメータセットであるASVE（ASPS Vdmc Extension)のシンタックスの例である。ピクチャ／フレームレベルのパラメータセットであるAFPSにおける拡張符号化パラメータ情報のシンタックスの例である。アトラスフレームにおけるアトラスタイル情報のシンタックスの例である。アトラスフレームにおけるアトリビュートタイル情報のシンタックスの例である。メッシュ再構成部307の動作を説明するための図である。3Dデータ符号化装置11の概略構成を示す機能ブロック図である。アトラス情報符号化部101の構成を示す機能ブロック図である。ベースメッシュ符号化部103の構成を示す機能ブロック図である。メッシュ変位符号化部107の構成を示す機能ブロック図である。メッシュ分離部115の構成を示す機能ブロック図である。メッシュ分離部115の動作を説明するための図である。タイルとコーデックタイルの関係を示すマッピングフラグを説明するための図である。タイルとコーデックタイルの関係を示すコーデックタイルのインデックスを説明するための図である。属性ビデオデータに含まれるアトリビュートタイルとコーデックタイルの関係を示すマッピングフラグを説明するための図である。属性ビデオデータに含まれるアトリビュートタイルとコーデックタイルの関係を示すコーデックタイルのインデックスを説明するための図である。サブメッシュタイル情報SEIのシンタックスの例である。サブメッシュタイル情報SEIのシンタックスの別の例である。サブメッシュアトリビュートタイル情報SEIのシンタックスの例である。サブメッシュアトリビュートタイル情報SEIのシンタックスの別の例である。各属性ビデオデータの分割数がすべて同じ場合のアライメントフラグのシンタックスの例である。 以下、図面を参照しながら本発明の実施形態について説明する。 図1は、本実施形態に係る3Dデータ伝送システム１の構成を示す概略図である。 3Dデータ伝送システム１は、符号化対象3Dデータを符号化した符号化ストリームを伝送し、伝送された符号化ストリームを復号し3Dデータを表示するシステムである。3Dデータ伝送システム１は、3Dデータ符号化装置11、ネットワーク21、3Dデータ復号装置31、及び3Dデータ表示装置41を含んで構成される。 3Dデータ符号化装置11には3DデータTが入力される。 ネットワーク21は、3Dデータ符号化装置11が生成した符号化ストリームTeを3Dデータ復号装置31に伝送する。ネットワーク21は、インターネット（Internet）、広域ネットワーク（WAN:Wide Area Network）、小規模ネットワーク（LAN:Local Area Network）または これらの組み合わせである。ネットワーク21は、必ずしも双方向の通信網に限らず、地上デジタル放送、衛星放送等の放送波を伝送する一方向の通信網であっても良い。また、ネ ットワーク21は、DVD（Digital Versatile Disc:登録商標）、BD（Blu-ray Disc:登録商 標）等の符号化ストリームTeを記録した記憶媒体で代替されても良い。 3Dデータ復号装置31は、ネットワーク21が伝送した符号化ストリームTeのそれぞれを復号し、復号した１または複数の復号3DデータTdを生成する。 3Dデータ表示装置41は、3Dデータ復号装置31が生成した１または複数の復号3DデータTdの全部または一部を表示する。3Dデータ表示装置41は、例えば、液晶ディスプレイ、有機EL（Electro-luminescence）ディスプレイ等の表示デバイスを備える。ディスプレイの形態としては、据え置き、モバイル、HMD等が挙げられる。また、3Dデータ復号装置31が高 い処理能力を有する場合には、画質の高い画像を表示し、より低い処理能力しか有しない場合には、高い処理能力、表示能力を必要としない画像を表示する。 ＜演算子＞ 本明細書で用いる演算子を以下に記載する。 >>は右ビットシフト、<<は左ビットシフト、&はビットワイズAND、|はビットワイズOR 、|=はOR代入演算子であり、||は論理和を示す。 x?y:zは、xが真（0以外）の場合にy、xが偽（0）の場合にzをとる３項演算子である。 y..zは、yからzの整数のセットを示す。 Log2( x )は、xに対して2を底とする対数を返す関数である。 Ceil( x )は、xを超えるもしくは等しい最小の整数を返す関数である。 Floor( x )は、x未満もしくは等しい最大の整数を返す関数である。 Sign( x )は、xが0より大きい場合に1を、xが0に等しい場合に0を、xが0未満の場合に-1を返す関数である。 Abs( x )は、xの絶対値を返す関数である。 Round( x )は、xを小数点以下第一位で四捨五入した整数を返す関数である。 Round( x ) = Sign( x ) * Floor( Abs( x ) + 0.5 )。 /は0に向かって切り捨てる整数除算である。例えば7/4は1に切り捨てられ-7/4は-1に切り捨てられる。 ÷は切り捨てもしくは丸目を行わない除算である。 ＜符号化ストリームTeの構造＞ 本実施形態に係る3Dデータ符号化装置11および3Dデータ復号装置31の詳細な説明に先立って、3Dデータ符号化装置11によって生成され、3Dデータ復号装置31によって復号される符号化ストリームTeのデータ構造について説明する。3Dデータは、MPEG-IのISO/IEC 23090-5 V3C (Volumetric Video-based Coding) and V-PCC (Video-based Point Cloud Compression)、およびV3DをベースとしたISO/IEC 23090-12 (MPEG Immersive Video、MIV)、ISO/IEC 23090-29 (Video-based Dynamic Mesh Coding、V-DMC)であってもよい。 図2は、符号化ストリームTeにおけるデータの階層構造を示す図である。符号化ストリ ームTeは、V3C sample stream、V3C unit streamの何れかのデータ構造を有する。V3C sample streamは、sample stream headerとV3C unitを含む。V3C unit streamはV3C unitを含む。 V3C unitはV3C unit headerとV3C unit payloadを含む。V3C unit headerはV3C unitの種類を示すIDであるUnit Typeであり、V3C_VPS、V3C_AD、V3C_AVD、V3C_GVD、V3C_OVDな どのラベルで示す値をとる。 Unit TypeがV3C_VPS (Video Parameter Set)の場合には、V3C unitはV3C parameter setを含む。 Unit TypeがV3C_AD (Atlas Data、Atlasデータ)の場合には、V3C unitはVPS ID、atlasID、sample stream nal headerと複数のNAL unitを含む。atlasIDはID(Idenfication)で あり0以上の整数値をとる。 NAL unitはNALUnitTypeとlayerIDとTemporalIDとRBSP (Raw byte sequence payload)を含む。 NAL unitはNALUnitTypeにより識別され、ASPS (Atlas Sequence Parameter Set)、AAPS (Atlas Adaptation Parameter Set)、ATL (Atlas Tile layer)、SEI (Supplemental Enhancement Information)などを含む。 ATLは、ATL headerとATL data unitを含み、ATL data unitは、patch information dataなどのパッチの位置、サイズなどの情報を含む。 SEIは、SEIの種類を示すpayloadType、SEIのサイズ（バイト数）を示すpayloadSize、SEIのデータのsei_payloadを含む。 Unit TypeがV3C_AVD (Attribute Video Data、アトリビュートデータ)の場合には、V3C unitはVPS ID、atlasID、アトリビュート画像のIDのattrIdx、パーティションIDのpartIdx、マップIDのmapIdx、Auxiliaryデータか否かを示すフラグauxFlag、video streamを含む。v