Search

KR-20260062030-A - METHOD AND APPARATUS FOR ENCODING/DECODING POINT CLOUD BASED ON HYPERPRIOR MODEL

KR20260062030AKR 20260062030 AKR20260062030 AKR 20260062030AKR-20260062030-A

Abstract

본 개시에 따른 포인트 클라우드 복호화 방법은, 복호화된 초기 좌표 정보에 대한 다운샘플링을 수행하여 제1 좌표 정보를 획득하는 단계; 상기 제1 좌표 정보 및 복호화된 제1 피쳐 정보에 기반하여 제1 텐서를 생성하는 단계; 생성된 상기 제1 텐서에 대해 업샘플링을 수행하는 단계; 업샘플링된 상기 제1 텐서가 포함하는 제2 좌표 정보의 정렬 순서에 기반하여 제2 피쳐 정보를 추출하는 단계; 초사전분포 엔트로피 모델에 기반하여 상기 제2 피쳐 정보로부터 초사전분포 피쳐 정보를 유도하는 단계; 상기 초사전분포 피쳐 정보에 기반하여 제2 텐서를 생성하는 단계; 및 상기 제2 텐서에 기반하여 포인트 클라우드를 복원하는 단계를 포함할 수 있다.

Inventors

  • 김준식
  • 방건
  • 김수웅
  • 도지훈
  • 배성준
  • 이하현
  • 강정원
  • 최진수

Assignees

  • 한국전자통신연구원

Dates

Publication Date
20260506
Application Date
20250911
Priority Date
20241028

Claims (20)

  1. 복호화된 초기 좌표 정보에 대한 다운샘플링을 수행하여 제1 좌표 정보를 획득하는 단계; 상기 제1 좌표 정보 및 복호화된 제1 피쳐 정보에 기반하여 제1 텐서를 생성하는 단계; 생성된 상기 제1 텐서에 대해 업샘플링을 수행하는 단계; 업샘플링된 상기 제1 텐서가 포함하는 제2 좌표 정보의 정렬 순서에 기반하여 제2 피쳐 정보를 추출하는 단계; 초사전분포 엔트로피 모델에 기반하여 상기 제2 피쳐 정보로부터 초사전분포 피쳐 정보를 유도하는 단계; 상기 초사전분포 피쳐 정보에 기반하여 제2 텐서를 생성하는 단계; 및 상기 제2 텐서에 기반하여 포인트 클라우드를 복원하는 단계를 포함하는, 포인트 클라우드 복호화 방법.
  2. 제1항에 있어서, 상기 다운샘플링을 수행함에 있어, 복호화된 상기 초기 좌표 정보 및 상기 제1 좌표 정보 간의 연결 관계 정보가 생성되는, 포인트 클라우드 복호화 방법.
  3. 제2항에 있어서, 상기 연결 관계 정보는, 소정의 픽셀 또는 복셀의 연결 관계를 표현하는 방식에 의해 결정되되, 상기 방식은, 대응 관계를 추적하는 좌표 벡터, 인덱스 맵 또는 인접 리스트 방식 중 적어도 하나를 포함하는, 포인트 클라우드 복호화 방법.
  4. 제2항에 있어서, 상기 연결 관계 정보는, 지정된 다운샘플링 방식을 고려하여 생성되는, 포인트 클라우드 복호화 방법.
  5. 제2항에 있어서, 상기 연결 관계 정보에 기반하여 상기 제1 텐서에 대한 상기 업샘플링이 수행되는, 포인트 클라우드 복호화 방법.
  6. 제1항에 있어서, 상기 제1 텐서는, 상기 제1 좌표 정보 및 복호화된 제1 피쳐 정보를 연결하여 생성되고, 및 상기 연결은, 상기 제1 좌표 정보의 정렬 순서에 기반하여 수행되는, 포인트 클라우드 복호화 방법.
  7. 제1항에 있어서, 상기 제2 텐서는, 복호화된 상기 초기 좌표 정보 및 초사전분포 피쳐 정보를 연결하여 생성되고, 및 상기 연결은, 복호화된 상기 초기 좌표 정보의 정렬 순서에 기반하여 수행되는, 포인트 클라우드 복호화 방법.
  8. 제1항에 있어서, 상기 제2 좌표 정보의 상기 정렬 순서는, 소정의 좌표 정보 정렬 방식에 의해 결정되되, 상기 방식은, 공간 채움 알고리즘 또는 직교 좌표계 기준 정렬 방식 중 적어도 하나를 포함하고, 및 상기 공간 채움 알고리즘은 모톤 코드 또는 힐베르트 곡선 중 적어도 하나를 포함하는, 포인트 클라우드 복호화 방법.
  9. 제1항에 있어서, 복호화된 상기 초기 좌표 정보에 대한 다운샘플링 수행 여부를 나타내는 정보가 시그날링되는, 포인트 클라우드 복호화 방법.
  10. 제1항에 있어서, 상기 초사전분포 피쳐 정보를 유도할지 여부를 나타내는 정보가 시그날링되는, 포인트 클라우드 복호화 방법.
  11. 하나 이상의 송수신기; 하나 이상의 메모리; 및 하나 이상의 프로세서를 포함하고, 상기 하나 이상의 프로세서는: 복호화된 초기 좌표 정보에 대한 다운샘플링을 수행하여 제1 좌표 정보를 획득하고; 상기 제1 좌표 정보 및 복호화된 제1 피쳐 정보에 기반하여 제1 텐서를 생성하고; 생성된 상기 제1 텐서에 대해 업샘플링을 수행하고; 업샘플링된 상기 제1 텐서가 포함하는 제2 좌표 정보의 정렬 순서에 기반하여 상기 텐서에서 제2 피쳐 정보를 추출하고; 초사전분포 엔트로피 모델에 기반하여 상기 제2 피쳐 정보로부터 초사전분포 피쳐 정보를 유도하고; 상기 초사전분포 피쳐 정보에 기반하여 제2 텐서를 생성하고; 및 상기 제2 텐서에 기반하여 포인트 클라우드를 복원하도록 설정되는, 포인트 클라우드 복호화 장치.
  12. 포인트 클라우드의 초기 텐서를 부호화하는 단계; 부호화된 상기 초기 텐서에 대해 다운샘플링을 수행하는 단계; 다운샘플링된 상기 초기 텐서가 포함하는 제1 좌표 정보의 정렬 순서에 기반하여 제1 피쳐 정보를 추출하는 단계; 상기 제1 좌표 정보 및 상기 제1 피쳐 정보에 기반하여 제1 텐서를 생성하는 단계; 생성된 상기 제1 텐서에 대해 업샘플링을 수행하는 단계; 업샘플링된 상기 제1 텐서가 포함하는 제2 좌표 정보의 정렬 순서에 기반하여 제2 피쳐 정보를 추출하는 단계; 및 상기 제2 피쳐 정보로부터 유도된 초사전분포 피쳐 정보에 대해 산술 부호화를 수행하는 단계를 포함하는, 포인트 클라우드 부호화 방법.
  13. 제12항에 있어서, 상기 다운샘플링을 수행함에 있어, 상기 초기 텐서가 포함하는 초기 좌표 정보 및 상기 제1 좌표 정보 간의 연결 관계 정보가 생성되는, 포인트 클라우드 부호화 방법.
  14. 제13항에 있어서, 상기 연결 관계 정보는, 소정의 픽셀 또는 복셀의 연결 관계를 표현하는 방식에 의해 결정되되, 상기 방식은, 대응 관계를 추적하는 좌표 벡터, 인덱스 맵 또는 인접 리스트 방식 중 적어도 하나를 포함하는, 포인트 클라우드 부호화 방법.
  15. 제13항에 있어서, 상기 연결 관계 정보는, 지정된 다운샘플링 방식을 고려하여 생성되는, 포인트 클라우드 부호화 방법.
  16. 제13항에 있어서, 상기 연결 관계 정보에 기반하여 상기 제1 텐서에 대한 상기 업샘플링이 수행되는, 포인트 클라우드 부호화 방법.
  17. 제12항에 있어서, 상기 제1 텐서는, 상기 제1 좌표 정보 및 상기 제1 피쳐 정보를 연결하여 생성되고, 및 상기 연결은, 상기 제1 좌표 정보의 상기 정렬 순서에 기반하여 수행되는, 포인트 클라우드 부호화 방법.
  18. 제12항에 있어서, 상기 제2 좌표 정보의 상기 정렬 순서는, 소정의 좌표 정보 정렬 방식에 의해 결정되되, 상기 방식은, 공간 채움 알고리즘 또는 직교 좌표계 기준 정렬 방식 중 적어도 하나를 포함하고, 및 상기 공간 채움 알고리즘은 모톤 코드 또는 힐베르트 곡선 중 적어도 하나를 포함하는, 포인트 클라우드 부호화 방법.
  19. 제12항에 있어서, 상기 초사전분포 피쳐 정보를 유도할지 여부를 나타내는 정보가 시그날링되는, 포인트 클라우드 부호화 방법.
  20. 하나 이상의 송수신기; 하나 이상의 메모리; 및 하나 이상의 프로세서를 포함하고, 상기 하나 이상의 프로세서는: 포인트 클라우드의 초기 텐서를 부호화하고; 부호화된 상기 초기 텐서에 대해 다운샘플링을 수행하고; 다운샘플링된 상기 초기 텐서가 포함하는 제1 좌표 정보의 정렬 순서에 기반하여 제1 피쳐 정보를 추출하고; 상기 제1 좌표 정보 및 상기 제1 피쳐 정보에 기반하여 제1 텐서를 생성하고; 생성된 상기 제1 텐서에 대해 업샘플링을 수행하고; 업샘플링된 상기 제1 텐서가 포함하는 제2 좌표 정보의 정렬 순서에 기반하여 제2 피쳐 정보를 추출하고; 및 상기 제2 피쳐 정보로부터 유도된 초사전분포 피쳐 정보에 대해 산술 부호화를 수행하도록 설정되는, 포인트 클라우드 부호화 장치.

Description

초사전분포(Hyperprior) 모델 기반 포인트 클라우드 부/복호화 방법{METHOD AND APPARATUS FOR ENCODING/DECODING POINT CLOUD BASED ON HYPERPRIOR MODEL} 본 발명은 인공지능 기반 포인트 클라우드 부/복호화 방법에 관한 것이다. 보다 상세하게는, 본 발명은 초사전분포(Hyperprior) 모델 기반 포인트 클라우드 부/복호화 방법 및 이를 수행하기 위한 장치에 관한 것이다. 인공지능 기반 포인트 클라우드 압축은 뉴럴 네트워크 모델을 이용하여 포인트 클라우드의 부/복호화를 수행하는 기술이다. 인공지능 기반 이미지(영상) 압축 분야에서 널리 이용되는 변형 오토인코더(Variational Autoencoder, VAE)의 구조를 기본으로 3차원 데이터 처리에 필요한 점유 확률 계산, 가지치기(Pruning) 등의 기법들을 활용될 수 있다. 인공지능 기반 포인트 클라우드 부/복호화 시에, 부호화기에서 출력되는 잠재 피쳐(latent feature)는 가우시안 분포를 갖는 것을 가정하고 산술 부호화 모델을 통해 압축될 수 있다. 이때, 산술 부호화 모델로는 팩토라이즈된 사전분포 모델(factorized prior model)이 사용될 수 있다. 팩토라이즈된 사전분포 모델은 잠재 피쳐 내에 통계적 종속성이 존재할 경우, 최적의 압축 성능을 도출할 수 없다는 특성이 있다. 이를 해결하기 위해 도입된 초사전분포 모델을 통해 더 높은 압축 성능을 기대할 수 있다. 다만, 초사전분포 모델에서는 출력되는 잠재 피쳐들의 해상도가 서로 달라 포인트 클라우드 데이터에 적용하기 어려운 문제가 발생할 수 있다. 도 1은, 본 개시의 일 실시예에 따른, 초사전분포 엔트로피 모델의 구조를 예시하는 도면이다. 도 2는, 본 개시의 일 실시예에 따른, 초사전분포 모델 기반 포인트 클라우드 부호화 장치를 예시하는 도면이다. 도 3은, 본 개시의 일 실시예에 따른, 초사전분포 모델 기반 포인트 클라우드 복호화 장치를 예시하는 도면이다. 도 4는, 본 개시의 일 실시예에 따른, 초사전분포 모델 기반 포인트 클라우드 부호화 방법의 흐름도이다. 도 5는, 본 개시의 일 실시예에 따른, 초사전분포 모델 기반 포인트 클라우드 복호화 방법의 흐름도이다. 도 6은, 본 개시의 실시예에 따른 장치를 예시하는 블록도이다. 본 개시는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다. 후술하는 예시적 실시예들에 대한 상세한 설명은, 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 실시예를 실시할 수 있기에 충분하도록 상세히 설명된다. 다양한 실시예들은 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 개시의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 실시예의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 예시적 실시예들의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 본 개시에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. 본 개시의 어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 본 개시의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 개시의 본질에서 벗어나지 않는 한 본 개시의 권리범위에 포함된다. 본 개시에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 개시를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 개시에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 즉, 본 개시에서 특정 구성을 "포함"한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 개시의 실시 또는 본 개시의 기술적 사상의 범위에 포함될 수 있음을 의미한다. 본 개시의 일부의 구성 요소는 본 개시에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 개시는 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 개시의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 개시의 권리범위에 포함된다. 이하, 도면을 참조하여 본 개시의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하고, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다. 먼저, 본 출원에서 사용되는 용어를 간략히 설명하면 다음과 같다. 포인트 클라우드는, 3차원 공간 상의 포인트들의 집합을 의미할 수 있다. 포인트 클라우드는 기하 정보 및/또는 속성 정보로 나타내어질 수 있다. 기하 정보는 좌표 정보로 대체되어 이해될 수 있다. 속성 정보는 피쳐(feature) 정보로 대체되어 이해될 수 있다. 포인트 클라우드의 좌표 정보는, 3차원 공간 상에서 포인트의 위치 정보를 나타낼 수 있다. 포인트 클라우드의 좌표 정보는, 특정 좌표계(예를 들어, 직교 좌표계, 구면 좌표계 등)에 기반하여 정의될 수 있다. 포인트 클라우드의 피쳐 정보는, 포인트에 해당하는 속성을 수치화하여 나타낸 정보를 나타낼 수 있다. 색상, 투명도, 반사율, 법선 벡터, 구면 조화 함수 중 적어도 하나의 정보를 포함할 수 있다. 잠재 피쳐는, 데이터를 뉴럴 네트워크에 입력함으로써 모델 내부에서 추출되거나 학습된 특성 값을 의미할 수 있다. 도 1은, 본 개시의 일 실시예에 따른, 초사전분포 엔트로피 모델의 구조를 예시하는 도면이다. 도 1을 참조하면, 초사전분포 엔트로피 모델(또는, 초사전분포 모델이라고도 함)은 입력 데이터 x를 가우시안 분포를 갖는 y 및 z로 변환할 수 있다. y는 양자화부(116)를 거쳐 양자화되고, 산술 부호화부(118)를 거쳐 산술 부호화될 수 있다. z는 y의 평균(μ) 및 스케일(θ)을 결정할 수 있다. 양자화부(122)에서 z에 대해 양자화(Quantization, Q)가 수행됨에 따라 가 도출될 수 있다. 산술 부호화부(124)에서 에 대해 산술 부호화(Arithmetic Encoding, AE)가 수행될 수 있다. 입력 데이터 x는 부호화기(110)와 하이퍼 부호화기(120)를 순차적으로 거침에 따라 해상도가 감소될 수 있다. 이에 따라, y 및 z는 서로 다른 해상도를 가질 수 있다. 산술 복호화부(126)에서는 의 비트스트림에 대해 산술 복호화(Arithmetic Decoding, AD)가 수행될 수 있다. 의 산술 코딩은 팩토라이즈된 엔트로피 모델(125)에 기반하여 수행될 수 있다. 산술 복호화된 는 하이퍼 복호화기(130)를 거침에 따라 ψ로 도출될 수 있다. 여기서, ψ는 와 동일한 해상도를 가질 수 있다. ψ가 초사전분포 엔트로피 모델에 입력됨에 따라 잠재 피쳐가 μ 및 θ를 갖도록 학습될 수 있다. 산술 부호화된 는 산술 복호화부(119)에서 μ 및 θ를 기반으로 산술 복호화될 수 있다. 최종적으로, 는 복호화기(140)를 거쳐 원본 해상도를 갖는 복원된 로 출력될 수 있다. 초사전분포 엔트로피 모델은 의 확률 분포에 μ 및 θ를 고려하여 압축을 수행하므로 높은 압축률을 달성할 수 있다. μ 및 θ를 결정하는 는 에 비해 낮은 해상도를 갖고 있어 의 비트스트림 크기 또한 높은 압축률을 나타낼 수 있다. 하지만 포인트 클라우드 압축의 경우, 2D 영상과 달리 해상도 공간(Bounding Box