Search

KR-20260061055-A - METHOD FOR ENCODING DYNAMIC MESH, APPARATUS FOR PERFORMING THE METHOD AND RECORDING MEDIUM STORING THE METHOD FOR ENCODING DYNAMIC MESH

KR20260061055AKR 20260061055 AKR20260061055 AKR 20260061055AKR-20260061055-A

Abstract

본 개시에 따른 동적 메쉬 부호화 방법은, 입력 메쉬로부터 기본 메쉬를 획득하는 단계; 상기 기본 메쉬를 부분할하는 단계; 부분할된 메쉬를 기반으로 변위 정보를 생성하는 단계; 및 상기 기본 메쉬 및 상기 변위 정보를 부호화하는 단계를 포함할 수 있다. 이때, 상기 기본 메쉬는, 상기 입력 메쉬에 대해 메쉬 간소화를 수행하여 획득되고, 상기 입력 메쉬 내 영역 단위로 상기 메쉬 간소화를 위한 간소화 파라미터가 결정될 수 있다.

Inventors

  • 남다윤
  • 임성용

Assignees

  • 한국전자통신연구원

Dates

Publication Date
20260506
Application Date
20251024
Priority Date
20241025

Claims (20)

  1. 입력 메쉬로부터 기본 메쉬를 획득하는 단계; 상기 기본 메쉬를 부분할하는 단계; 부분할된 메쉬를 기반으로 변위 정보를 생성하는 단계; 및 상기 기본 메쉬 및 상기 변위 정보를 부호화하는 단계를 포함하되, 상기 기본 메쉬는, 상기 입력 메쉬에 대해 메쉬 간소화를 수행하여 획득되고, 상기 입력 메쉬 내 영역 단위로 상기 메쉬 간소화를 위한 간소화 파라미터가 결정되는 것을 특징으로 하는, 동적 메쉬 부호화 방법.
  2. 제1 항에 있어서, 상기 입력 메쉬 내 현재 영역에 대한 간소화 파라미터는, 상기 현재 영역의 지역적 공간 특성을 기반으로 결정되는 것을 특징으로 하는, 동적 메쉬 부호화 방법.
  3. 제2 항에 있어서, 상기 지역적 공간 특성은, 상기 현재 영역 내 정점들의 개수, 페이스들의 개수, 엣지의 개수, 엣지 길이 또는 상기 현재 영역의 중요도 중 적어도 하나를 포함하는 것을 특징으로 하는, 동적 메쉬 부호화 방법.
  4. 제2 항에 있어서, 상기 간소화 파라미터는, 타겟 정점수 비율, 타겟 페이스 비율, 타겟 정점수, 타겟 페이스 수 또는 중요도 문턱값 중 적어도 하나를 포함하고, 상기 타겟 정점수 비율은, 상기 현재 영역 내 정점들의 개수와 간소화된 메쉬 내 상기 현재 영역 내 정점들의 개수 간의 비율을 나타내고, 상기 타겟 페이스 비율은, 상기 현재 영역 내 페이스들의 개수와 간소화된 메쉬 내 상기 현재 영역 내 페이스들의 개수 간의 비율을 나타내는 것을 특징으로 하는, 동적 메쉬 부호화 방법.
  5. 제1 항에 있어서, 상기 현재 영역 내 엣지의 길이를 문턱값과 비교한 결과를 기반으로, 상기 엣지를 구성하는 정점을 삭제할 것인지 여부가 결정되는 것을 특징으로 하는, 동적 메쉬 부호화 방법.
  6. 제5 항에 있어서, 상기 엣지의 길이가 상기 문턱값보다 큰 경우, 상기 엣지를 구성하는 상기 정점을 유지하고, 상기 엣지의 길이가 상기 문턱값과 같거나 작은 경우, 상기 엣지를 구성하는 상기 정점을 삭제하는 것을 특징으로 하는, 동적 메쉬 부호화 방법.
  7. 제1 항에 있어서, 상기 간소화 파라미터는, 수축(Contraction) 수행 여부, 수축 반복 횟수, 최소 수축 회차, 최대 수축 회차 또는 중요도 문턱값 중 적어도 하나를 포함하는 것을 특징으로 하는, 동적 메쉬 부호화 방법.
  8. 제7 항에 있어서, 상기 현재 영역에 대해 수축이 수행되는 것으로 결정되는 경우, 쌍 수축 또는 엣지 수축 중 적어도 하나가 상기 현재 영역에 적용되는 것을 특징으로 하는, 동적 메쉬 부호화 방법.
  9. 제8 항에 있어서, 상기 현재 영역에 대해 수축을 수행한 이후, 상기 현재 영역의 상기 지역적 공간 특성을 업데이트하고, 업데이트된 지역적 공간 특성을 기반으로, 상기 현재 영역에 대해 수축이 재수행되는지 여부가 결정되는 것을 특징으로 하는, 동적 메쉬 부호화 방법.
  10. 제1 항에 있어서, 상기 입력 메쉬 내 현재 영역에 대한 간소화 파라미터는, 상기 현재 영역에 대한 복수의 부호화 성능 지표들을 비교하여 결정되는 것을 특징으로 하는, 동적 메쉬 부호화 방법.
  11. 제10 항에 있어서, 상기 복수의 부호화 성능 지표들은, 상기 현재 영역에 대해 간소화 파라미터를 상이하게 설정함에 따라 획득되는 율-왜곡 비용들인 것을 특징으로 하는, 동적 메쉬 부호화 방법.
  12. 제11 항에 있어서, 상기 복수의 부호화 성능 지표들 중 최적인 부호화 성능 지표를 획득하는데 이용된 설정에 따라, 상기 현재 영역에 대한 상기 간소화 파라미터가 결정되는 것을 특징으로 하는, 동적 메쉬 부호화 방법.
  13. 제1 항에 있어서, 상기 동적 메쉬 부호화 방법은, 메쉬 간소화 정보를 부호화하는 단계를 더 포함하고, 상기 메쉬 간소화 정보는, 영역 별로 부호화되어 시그날링되는 것을 특징으로 하는, 동적 메쉬 부호화 방법.
  14. 제1 항에 있어서, 상기 간소화 파라미터를 기반으로, 상기 기본 메쉬에 대한 부분할 회차수, 부분할 방법 또는 부분할 엣지 길이 임계값 중 적어도 하나가 결정되는 것을 특징으로 하는, 동적 메쉬 부호화 방법.
  15. 제1 항에 있어서, 상기 동적 메쉬 부호화 방법은, 이상치 정보를 부호화하는 단계를 더 포함하고, 상기 이상치 정보는, 상기 메쉬 간소화로 인해 생성된 비정상 정점 또는 비정상 영역의 정보인 것을 특징으로 하는, 동적 메쉬 부호화 방법.
  16. 제1 항에 있어서, 상기 동적 메쉬 부호화 방법은, 특징 정보를 부호화하는 단계를 더 포함하고, 상기 특징 정보는, 상기 입력 메쉬 또는 상기 기본 메쉬 내 중요도가 높은 정점들의 정보를 포함하는 것을 특징으로 하는, 동적 메쉬 부호화 방법.
  17. 제1 항에 있어서, 상기 기본 메쉬, 부분할된 메쉬 또는 복원 메쉬는, 복수의 기하 부호화 유닛들로 분할되는 것을 특징으로 하는, 동적 메쉬 부호화 방법.
  18. 제17 항에 있어서, 상기 복수의 기하 부호화 유닛들은, 상기 메쉬 간소화로 인해 생성된 폴리곤 또는 상기 폴리곤을 포함하는 바운딩 박스인 것을 특징으로 하는, 메쉬 부호화 방법.
  19. 입력 메쉬로부터 기본 메쉬를 획득하고, 상기 기본 메쉬를 부분할하고, 부분할된 메쉬를 기반으로 변위 정보를 생성하는 전처리부; 상기 기본 메쉬를 부호화하는, 기본 메쉬 부호화부; 및 상기 변위 정보를 부호화하는 변위 정부 부호화부를 포함하고, 상기 입력 메쉬 내 영역 단위로 상기 메쉬 간소화를 위한 간소화 파라미터가 결정되는 것을 특징으로 하는, 동적 메쉬 부호화 장치.
  20. 입력 메쉬로부터 기본 메쉬를 획득하는 단계; 상기 기본 메쉬를 부분할하는 단계; 부분할된 메쉬를 기반으로 변위 정보를 생성하는 단계; 및 상기 기본 메쉬 및 상기 변위 정보를 부호화하는 단계를 포함하되, 상기 기본 메쉬는, 상기 입력 메쉬에 대해 메쉬 간소화를 수행하여 획득되고, 상기 입력 메쉬 내 영역 단위로 상기 메쉬 간소화를 위한 간소화 파라미터가 결정되는 것을 특징으로 하는, 동적 메쉬 부호화 방법을 수행하기 위한 명령어를 기록한 컴퓨터로 판독 가능한 기록 매체.

Description

동적 메쉬 부호화 방법, 이를 수행하기 위한 장치 및 상기 동적 메쉬 부호화 방법을 기록한 기록 매체 {METHOD FOR ENCODING DYNAMIC MESH, APPARATUS FOR PERFORMING THE METHOD AND RECORDING MEDIUM STORING THE METHOD FOR ENCODING DYNAMIC MESH} 본 개시는 동적 메쉬의 부/복호화 방법에 관한 것이다. 정적 혹은 동적 2D 데이터는 일반적으로 AVC, HEVC 또는 VVC 등과 같은 이미지 혹은 비디오 압축 코덱으로 부호화/복호화될 수 있다. 위 압축 코덱들을 높은 압축 성능으로 인해, 위 압축 코덱들을 몰입형 비디오 (Immersive Video) 또는 메쉬 (Mesh) 등을 압축하는데 이용하는 방법도 지속적으로 연구 중에 있다. 도 1은 다이나믹 메쉬를 부호화하기 위한, 부호화기의 블록도이다. 도 2는 다이나믹 메쉬를 복호화하기 위한, 복호화기의 블록도이다. 도 3은 메쉬 간략화로 인해, 원본 메쉬 정보가 크게 손실된 예를 나타낸 것이다. 도 4는 메쉬 간소화 강도에 따른 메쉬 복원 품질 및 부호화/복호화 데이터량 변화를 나타낸 것이다. 도 5는 본 개시의 일실시예에 따른 적응적 메쉬 간소화 방법의 흐름도를 나타낸다. 도 6 및 도 7은 영역별로 타겟 페이스 개수 비율이 상이하게 설정되는 예를 나타낸 것이다. 도 8은 현재 정점으로부터 시작되는 엣지의 길이를 문턱값과 비교한 결과를 바탕으로, 현재 정점의 제거 여부가 결정되는 예를 설명하기 위한 도면이다. 도 9는 엣지 수축 및 쌍 수축의 예를 도시한 것이다. 도 10은 영역별로 수축 과정의 수행 여부 또는 수행 횟수가 상이하게 설정된 예를 도시한 것이다. 도 11은 메쉬 내 특징점을 예시한 것이다. 도 12는 특징점과의 거리에 따라, 메쉬 간소화 강도가 상이하게 설정되는 예를 나타낸 것이다. 도 13은 메쉬 간소화에 의해 비정상 영역이 발생하는 예를 도시한 것이다. 도 14는 영상의 계층적 분할을 예시한 것이다. 도 15는 메쉬가 복수의 서브 메쉬들로 분할된 예를 나타낸다. 도 16은 입력 메쉬가 복수의 GCU들로 분할되는 예를 나타낸 것이다. 도 17은 메쉬 간소화에 의해 획득된 단순화된 3차원 폴리곤이 GCU로 설정되는 예를 나타낸 것이다. 도 18은 BVH 분할 구조에 따라, GCU들이 결정되는 예를 나타낸 것이다. 도 19는 바운딩 체적이 설정되는 예를 나타낸 것이다. 도 20은 특징 정보에 기반하여 GCU들이 결정되는 예를 나타낸 것이다. 본 개시는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다. 후술하는 예시적 실시예들에 대한 상세한 설명은, 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 실시예를 실시할 수 있기에 충분하도록 상세히 설명된다. 다양한 실시예들은 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 개시의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 실시예의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 예시적 실시예들의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 본 개시에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. 본 개시의 어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결 되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 본 개시의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 개시의 본질에서 벗어나지 않는 한 본 개시의 권리범위에 포함된다. 본 개시에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 개시를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 개시에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 즉, 본 개시에서 특정 구성을 "포함"한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 개시의 실시 또는 본 개시의 기술적 사상의 범위에 포함될 수 있음을 의미한다. 본 개시의 일부의 구성 요소는 본 개시에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 개시는 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 개시의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 개시의 권리범위에 포함된다. 이하, 도면을 참조하여 본 개시의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하고, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다. 다이나믹 메쉬(Dynamic Mesh)는, 시간이 경과함에 따라, 기하(Geometry) 정보, 속성(Attribute) 정보 및 연결(Connectivity) 정보가 변화하는 메쉬 콘텐츠를 나타낸다. 다이나믹 메쉬는, 기하 정보 및 속성 정보로 분리될 수 있다. 즉, 다이나믹 메쉬의 부호화/복호화는 기하 정보(Geometry) 및 속정 정보(Attribute) 각각을 부호화/복호화하는 것일 수 있다. 기하 정보는, 다이나믹 메쉬를 구성하는 정점들(Vertexes), 정점들의 연결 관계 및 페이스에 대한 정보를 포함할 수 있다. 여기서, 페이스는, 3개의 정점들로 구성된 삼각 형태일 수 있다. 기하 정보는, 3차원 공간 내 정점의 위치를 나타낼 수 있다. 전처리 과정을 통해, 기하 정보는 기본 메쉬(Base-mesh) 및 변위(Displacement) 정보로 분리될 수 있다. 기본 메쉬는, 원본 메쉬에 대해, 메쉬 간소화 (Mesh Decimation)및 기하 매개변수화화(Geometry Parameterization) 중 적어도 하나를 적용함으로써 획득될 수 있다. 기본 메쉬는 정적 메쉬 코덱, 예컨대, 드라코(Draco) 또는 TFAN을 통해 부호화/복호화될 수 있다. 변위 정보는, 부분할 표면 피팅(Subdivision Surface Fitting)을 통해 생성된 피팅된 메쉬(Fitted Mesh)와 부분할된 기본 메쉬(Subdivided Base-Mesh) 간의 차분 정보일 수 있다. 변위 정보는, 일반적인 비디오 코덱, 예컨대, HEVC, VVC 또는 AV1, 또는 산술 코덱(Arithmetic codec)을 통해 부호화/복호화될 수 있다. 속성 정보는, 속성 맵(Attribute map), 또는 텍스처 맵(Texture map)을 포함할 수 있다. 한편, 텍스처 전송(Texture Transfer) 과정을 통해, 속성 맵을 업데이트(또는, 재생성)할 수 있다. 텍스처 전송은, 원본 메쉬의 속성 맵을 복원된 변형된 메쉬(Reconstructed Deformed Mesh) 데이터에 대응하도록 재매개변수화(Re-parameterization)하는 것일 수 있다. 속성 정보는, 일반적인 비디오 코덱, 예컨대, HEVC, VVC 또는 AV1을 통해 부호화/복호화될 수 있다. 도 1은 다이나믹 메쉬를 부호화하기 위한, 부호화기의 블록도이다. 도 1을 참조하면, 부호화기는, 전처리부(110), 기본 메쉬 부호화부(120), 변위 정보 부호화부(130), 영상 부호화부(140) 및 비트스트림 생성부(150)를 포함할 수 있다. 전처리부(110)에서는, 다이나믹 메쉬의 기하 정보를 기본 메쉬 및 변위 정보로 분리한다. 이를 위해, 전처리부(110)에서는, 메쉬 간소화(M