Search

KR-20260061440-A - 특징 분포 학습에 기초한 포인트 클라우드 압축을 위한 향상된 특징 처리

KR20260061440AKR 20260061440 AKR20260061440 AKR 20260061440AKR-20260061440-A

Abstract

포인트 클라우드 지오메트리 방법의 일부 실시예들은 학습 기반 포인트 클라우드 지오메트리 방법을 포함할 수 있고, 여기서 방법은: 제1 특징 맵을 획득하는 단계 - 제1 특징 맵은 C개의 채널들을 포함하고, 제1 특징 맵은 하나 이상의 선행 신경 네트워크 계층에 의해 생성됨 -; 제1 특징 맵에 기초하여 제1 신경 네트워크 계층 세트를 사용하여 제1 분포 파라미터 세트를 생성하는 단계; 제1 분포 파라미터 세트에 기초하여 제1 특징 맵을 제2 특징 맵으로 변환하는 단계; 및 제2 특징 맵을 후속 신경 네트워크 계층에 출력하는 단계를 포함할 수 있다. 포인트 클라우드 지오메트리 방법의 일부 실시예들에서, 제1 특징 맵은 3D 공간 내의 n개의 구별되는 포인트들에 제각기 대응하는 n개의 특징 벡터들을 더 포함한다.

Inventors

  • 안, 정현
  • 팡, 자하오
  • 로드히, 무함마드 아사드
  • 톈, 둥

Assignees

  • 인터디지털 브이씨 홀딩스 인코포레이티드

Dates

Publication Date
20260506
Application Date
20240815
Priority Date
20230901

Claims (20)

  1. 학습 기반 포인트 클라우드 지오메트리 방법으로서, 제1 특징 맵을 획득하는 단계 - 상기 제1 특징 맵은 C개의 채널들을 포함하고, 상기 제1 특징 맵은 하나 이상의 선행 신경 네트워크 계층에 의해 생성됨 -; 상기 제1 특징 맵에 기초하여 제1 신경 네트워크 계층 세트를 사용하여 제1 분포 파라미터 세트를 생성하는 단계; 상기 제1 분포 파라미터 세트에 기초하여 상기 제1 특징 맵을 제2 특징 맵으로 변환하는 단계; 및 상기 제2 특징 맵에 기초하여 비트스트림을 인코딩하는 단계 를 포함하는, 방법.
  2. 학습 기반 포인트 클라우드 지오메트리 방법으로서, 제1 특징 맵을 획득하는 단계 - 상기 제1 특징 맵은 C개의 채널들을 포함하고, 상기 제1 특징 맵은 하나 이상의 선행 신경 네트워크 계층에 의해 생성됨 -; 상기 제1 특징 맵에 기초하여 제1 신경 네트워크 계층 세트를 사용하여 제1 분포 파라미터 세트를 생성하는 단계; 상기 제1 분포 파라미터 세트에 기초하여 상기 제1 특징 맵을 제2 특징 맵으로 변환하는 단계; 및 상기 제2 특징 맵을 후속 신경 네트워크 계층에 출력하는 단계 를 포함하는, 방법.
  3. 제2항에 있어서, 상기 제1 특징 맵은 3D 공간 내의 n개의 구별되는 포인트들에 제각기 대응하는 n개의 특징 벡터들을 더 포함하는, 방법.
  4. 제3항에 있어서, 각각의 특징 벡터는 3D 공간 내의 대응하는 포인트의 특징을 나타내고; 상기 제1 특징 맵은 n x C 차원을 갖는, 방법.
  5. 제2항에 있어서, 제2 신경 네트워크 계층 세트를 사용하여 제2 분포 파라미터 세트를 생성하는 단계; 상기 제2 분포 파라미터 세트에 기초하여 상기 제1 특징 맵을 제3 특징 맵으로 변환하는 단계; 및 상기 제1 특징 맵을 상기 제3 특징 맵으로 업데이트하는 단계를 더 포함하는, 방법.
  6. 제2항에 있어서, 상기 제1 분포 파라미터 세트를 생성하는 단계는: 신경 네트워크 계층들을 통해 주어진 특징 맵을 업데이트하는 단계; 및 상기 업데이트된 특징 맵을 단순화하여 제1 채널별 분포 파라미터 세트를 획득하는 단계를 포함하는, 방법.
  7. 제2항에 있어서, 상기 제1 특징 맵을 변환하는 단계는: 상기 제1 특징 맵 내의 상기 C개의 채널들 각각에 대해, 각자의 재형성된 벡터를 생성하는 단계 - 각각의 재형성된 벡터는 상기 제1 특징 맵 내의 각자의 채널 벡터를 재형성하는 것에 의해 생성됨 -; 상기 각자의 재형성된 벡터들 중 하나에 대응하는 상기 C개의 채널들 각각에 대한 분포 파라미터를 획득하는 단계; 상기 분포 파라미터들 각각을 각자의 특징 채널로 확장하는 단계; 및 상기 C개의 채널들 각각에 대해, 상기 재형성된 벡터 내의 각각의 요소를 상기 확장된 분포 파라미터에 의해 변환하는 단계를 포함하는, 방법.
  8. 제2항에 있어서, 상기 제1 특징 맵의 각각의 특징 요소를 정규화함으로써 상기 제1 특징 맵을 업데이트하는 단계를 더 포함하는, 방법.
  9. 제7항에 있어서, 상기 제1 특징 맵의 각각의 특징 요소를 정규화하는 단계는: 제3 신경 네트워크 계층 세트를 사용하여 제3 분포 파라미터 세트를 생성하는 단계; 상기 제3 분포 파라미터 세트에 기초하여 상기 제1 특징 맵을 제4 특징 맵으로 센터링하는 단계; 및 상기 제1 특징 맵을 상기 제4 특징 맵으로 업데이트하는 단계를 포함하는, 방법.
  10. 제9항에 있어서, 상기 제4 특징 맵으로부터 제4 분포 파라미터 세트를 생성하는 단계; 및 상기 제4 분포 파라미터 세트에 기초하여 상기 제4 특징 맵을 제5 특징 맵으로 정규화하는 단계를 더 포함하는, 방법.
  11. 제9항에 있어서, 제5 신경 네트워크 계층 세트를 사용하여 제5 분포 파라미터 세트를 생성하는 단계; 및 상기 제5 분포 파라미터 세트에 기초하여 상기 제4 특징 맵을 제6 특징 맵으로 정규화하는 단계를 더 포함하는, 방법.
  12. 제2항에 있어서, 상기 제2 특징 맵을 다운샘플링하여 제1 특징 벡터를 생성하는 단계를 더 포함하며, 상기 제2 특징 맵을 다운샘플링하는 단계는 풀링 함수를 사용하는, 방법.
  13. 제12항에 있어서, 상기 풀링 함수는 평균 풀링 및 최대 풀링으로 구성된 그룹으로부터 선택되는, 방법.
  14. 제12항에 있어서, 상기 제1 특징 벡터를 채널 차원을 향해 확장함으로써 확장된 특징 맵을 생성하는 단계; 상기 제2 특징 맵을 상기 확장된 특징 맵과 연결시켜 연결된 특징 맵을 생성하는 단계; 및 상기 연결된 특징 맵을 필터링 신경 네트워크 계층들을 통과시켜 필터링된 특징 맵을 생성하는 단계를 더 포함하는, 방법.
  15. 제2항에 있어서, 추가적인 신경 네트워크를 사용하여 상기 제2 특징 맵을 집계하는 단계를 더 포함하는, 방법.
  16. 제15항에 있어서, 상기 추가적인 신경 네트워크는 희소 콘볼루션 신경 네트워크(CNN) 및 다층 퍼셉트론(MLP) 중 적어도 하나를 포함하는, 방법.
  17. 제2항에 있어서, 잔차 네트워크를 사용하여 상기 제2 특징 맵을 집계하는 단계를 더 포함하는, 방법.
  18. 제17항에 있어서, 상기 잔차 네트워크는 ResNet 블록인, 방법.
  19. 제2항에 있어서, 트랜스포머 블록을 사용하여 상기 제2 특징 맵을 집계하는 단계를 더 포함하는, 방법.
  20. 제19항에 있어서, 상기 트랜스포머 블록은 포인트 트랜스포머 및 복셀 트랜스포머로 구성되는 그룹으로부터 선택되는, 방법.

Description

특징 분포 학습에 기초한 포인트 클라우드 압축을 위한 향상된 특징 처리 관련 출원들에 대한 상호 참조 본 출원은 2023년 9월 1일자로 출원된, 발명의 명칭이 "AN ENHANCED FEATURE PROCESSING FOR POINT CLOUD COMPRESSION BASED ON FEATURE DISTRIBUTION LEARNING"인 미국 가특허 출원 제63/536,321호의 이익을 주장하며, 이 미국 출원은 이로써 참조로 포함된다. 참조에 의한 포함 본 출원은 다음 출원들: 2023년 7월 11일자로 출원된, 발명의 명칭이 "DEEP DISTRIBUTION-AWARE POINT FEATURE EXTRACTOR FOR AI-BASED POINT CLOUD COMPRESSION"인 국제 출원 제PCT/US2023/027424호("'424 출원"); 2022년 7월 12일자로 출원된, 발명의 명칭이 "DEEP DISTRIBUTION-AWARE POINT FEATURE EXTRACTOR FOR AI-BASED POINT CLOUD COMPRESSION"인 미국 가특허 출원 제63/388,600호("'600 출원"); 2022년 12월 14일자로 출원된, 발명의 명칭이 "SCALABLE FRAMEWORK FOR POINT CLOUD COMPRESSION"인 국제 출원 제PCT/US2022/052861로("'861 출원"); 2023년 4월 20일자로 출원된, 발명의 명칭이 "GENERATIVE-BASED PREDICTIVE CODING FOR POINT CLOUD COMPRESSION"인 미국 가특허 출원 제63/460,798호("'798 출원"); 및 2023년 9월 1일자로 출원된, 발명의 명칭이 "AN ENHANCED FEATURE PROCESSING FOR IMAGE COMPRESSION BASED ON FEATURE DISTRIBUTION LEARNING"인 미국 가특허 출원 제63/536,340호("'340 출원")를 그 전체로서 참조로 포함한다. 포인트 클라우드들은, 자율 주행(autonomous driving), 로보틱스(robotics), AR/VR, 토목 공학, 컴퓨터 그래픽스에서 애니메이션/영화 산업에 이르기까지와 같은, 수많은 비즈니스 영역들에서 사용될 수 있는 데이터이다. 3D LiDAR 센서들은 자가 주행(self-driving) 자동차들에 배치되었고, 저렴한 LiDAR 센서들은 Velodyne Velabit, Apple iPad Pro 2020, 및 Intel RealSense LiDAR 카메라 L515를 포함한다. 감지 기술들의 발전에 따라, 3D 포인트 클라우드 데이터는 위에 언급된 응용들 및 산업들에서와 같이, 더 널리 보급되고 있다. 본 명세서에 설명된 실시예들은 비디오 인코딩 및 디코딩(집합적으로 "코딩")에서 사용되는 방법들을 포함한다. 일부 실시예들에 따른 예시적인 방법은: 제1 특징 맵을 획득하는 단계 - 제1 특징 맵은 C개의 채널들을 포함하고, 제1 특징 맵은 하나 이상의 선행 신경 네트워크 계층에 의해 생성됨 -; 제1 특징 맵에 기초하여 제1 신경 네트워크 계층 세트를 사용하여 제1 분포 파라미터 세트를 생성하는 단계; 제1 분포 파라미터 세트에 기초하여 제1 특징 맵을 제2 특징 맵으로 변환하는 단계; 및 제2 특징 맵에 기초하여 비트스트림을 인코딩하는 단계를 포함할 수 있다. 일부 실시예들에 따른 제1 예시적인 방법은: 제1 특징 맵을 획득하는 단계 - 제1 특징 맵은 C개의 채널들을 포함하고, 제1 특징 맵은 하나 이상의 선행 신경 네트워크 계층에 의해 생성됨 -; 제1 특징 맵에 기초하여 제1 신경 네트워크 계층 세트를 사용하여 제1 분포 파라미터 세트를 생성하는 단계; 제1 분포 파라미터 세트에 기초하여 제1 특징 맵을 제2 특징 맵으로 변환하는 단계; 및 제2 특징 맵을 후속 신경 네트워크 계층에 출력하는 단계를 포함할 수 있다. 제1 예시적인 방법의 일부 실시예들에서, 제1 특징 맵은 3D 공간 내의 n개의 구별되는 포인트들에 제각기 대응하는 n개의 특징 벡터들을 더 포함한다. 제1 예시적인 방법의 일부 실시예들에서, 각각의 특징 벡터는 3D 공간 내의 대응하는 포인트의 특징을 나타내고; 제1 특징 맵은 n x C 차원을 갖는다. 제1 예시적인 방법의 일부 실시예들은: 제2 신경 네트워크 계층 세트를 사용하여 제2 분포 파라미터 세트를 생성하는 단계; 제2 분포 파라미터 세트에 기초하여 제1 특징 맵을 제3 특징 맵으로 변환하는 단계; 및 제1 특징 맵을 제3 특징 맵으로 업데이트하는 단계를 더 포함할 수 있다. 제1 예시적인 방법의 일부 실시예들에서, 제1 분포 파라미터 세트를 생성하는 단계는: 신경 네트워크 계층들을 통해 주어진 특징 맵을 업데이트하는 단계; 및 업데이트된 특징 맵을 단순화하여 제1 채널별 분포 파라미터 세트를 획득하는 단계를 포함할 수 있다. 제1 예시적인 방법의 일부 실시예들에서, 제1 특징 맵을 변환하는 단계는: 제1 특징 맵 내의 C개의 채널들 각각에 대해, 각자의 재형성된 벡터(reshaped vector)를 생성하는 단계 - 각각의 재형성된 벡터는 제1 특징 맵 내의 각자의 채널 벡터를 재형성하는 것에 의해 생성됨 -; 각자의 재형성된 벡터들 중 하나에 대응하는 C개의 채널들 각각에 대한 분포 파라미터를 획득하는 단계; 분포 파라미터들 각각을 각자의 특징 채널로 확장하는 단계; 및 C개의 채널들 각각에 대해, 재형성된 벡터 내의 각각의 요소를 확장된 분포 파라미터에 의해 변환하는 단계를 포함할 수 있다. 제1 예시적인 방법의 일부 실시예들은 제1 특징 맵의 각각의 특징 요소를 정규화함으로써 제1 특징 맵을 업데이트하는 단계를 더 포함할 수 있다. 제1 예시적인 방법의 일부 실시예들에서, 제1 특징 맵의 각각의 특징 요소를 정규화하는 단계는: 제3 신경 네트워크 계층 세트를 사용하여 제3 분포 파라미터 세트를 생성하는 단계; 제3 분포 파라미터 세트에 기초하여 제1 특징 맵을 제4 특징 맵으로 센터링(centering)하는 단계; 및 제1 특징 맵을 제4 특징 맵으로 업데이트하는 단계를 포함할 수 있다. 제1 예시적인 방법의 일부 실시예들은: 제4 특징 맵으로부터 제4 분포 파라미터 세트를 생성하는 단계; 및 제4 분포 파라미터 세트에 기초하여 제4 특징 맵을 제5 특징 맵으로 정규화하는 단계를 더 포함할 수 있다. 제1 예시적인 방법의 일부 실시예들은: 제5 신경 네트워크 계층 세트를 사용하여 제5 분포 파라미터 세트를 생성하는 단계; 및 제5 분포 파라미터 세트에 기초하여 제4 특징 맵을 제6 특징 맵으로 정규화하는 단계를 더 포함할 수 있다. 제1 예시적인 방법의 일부 실시예들은 제2 특징 맵을 다운샘플링하여 제1 특징 벡터를 생성하는 단계를 더 포함할 수 있으며, 여기서 제2 특징 맵을 다운샘플링하는 단계는 풀링 함수(pooling function)를 사용한다. 제1 예시적인 방법의 일부 실시예들에서, 풀링 함수는 평균 풀링(average pooling) 및 최대 풀링(max pooling)으로 구성된 그룹으로부터 선택된다. 제1 예시적인 방법의 일부 실시예들은: 제1 특징 벡터를 채널 차원을 향해 확장함으로써 확장된 특징 맵을 생성하는 단계; 제2 특징 맵을 확장된 특징 맵과 연결(concatenate)시켜 연결된 특징 맵을 생성하는 단계; 및 연결된 특징 맵을 필터링 신경 네트워크 계층들을 통과시켜 필터링된 특징 맵을 생성하는 단계를 더 포함할 수 있다. 제1 예시적인 방법의 일부 실시예들은 추가적인 신경 네트워크를 사용하여 제2 특징 맵을 집계하는 단계를 더 포함할 수 있다. 제1 예시적인 방법의 일부 실시예들에서, 추가적인 신경 네트워크는 희소 콘볼루션 신경 네트워크(CNN) 및 다층 퍼셉트론(MLP) 중 적어도 하나를 포함한다. 제1 예시적인 방법의 일부 실시예들은 잔차 네트워크를 사용하여 제2 특징 맵을 집계하는 단계를 더 포함할 수 있다. 제1 예시적인 방법의 일부 실시예들에서, 잔차 네트워크는 ResNet 블록이다. 제1 예시적인 방법의 일부 실시예들은 트랜스포머 블록(transformer block)을 사용하여 제2 특징 맵을 집계하는 단계를 더 포함할 수 있다. 제1 예시적인 방법의 일부 실시예들에서, 트랜스포머 블록은 포인트 트랜스포머(point transformer) 및 복셀 트랜스포머(voxel transformer)로 구성되는 그룹으로부터 선택된다. 제1 예시적인 방법의 일부 실시예들은: 제1 특징 맵을 제2 특징 맵으로 변환하는 것과 병렬로 신경 네트워크를 사용하여 제2 특징 맵을 집계함으로써 제7 특징 맵을 생성하는 단계; 및 제7 특징 맵을 제2 특징 맵에 연결시키는 단계를 더 포함할 수 있다. 제1 예시적인 방법의 일부 실시예들은: 학습 기반 포인트 클라우드 지오메트리 프로세스를 한 번 이상 반복하여 제8 특징 맵을 생성하는 단계; 및 제8 특징 맵을 제1 특징 맵에 가산하여 제9 특징 맵을 생성하는 단계를 더 포함할 수 있다. 일부 실시예들에 따른 예시적인 장치는: 프로세서; 및, 프로세서에 의해 실행될 때, 장치로 하여금 제1 특징 맵을 획득하게 하고 - 제1 특징 맵은 C개의 채널들을 포함하고, 제1 특징 맵은 하나 이상의 선행 신경 네트워크 계층에 의해 생성됨 -; 제1 특징 맵에 기초하여 제1 신경 네트워크 계층 세트를 사용하여 제1 분포 파라미터 세트를 생성하게 하며; 제1 분포 파라미터 세트에 기초하여 제1 특징 맵을 제2 특징 맵으로 변환하게 하고; 제2 특징 맵에 기초하여 비트스트림을 인코딩하게 하도록 동작하는 명령어들을 저장한 비일시적 컴퓨터 판독가능 매체를 포함할 수 있다. 일부 실시예들에 따른 제1 예시적인 장치는: 프로세서; 및, 프로세서에 의해 실행될 때, 장치로 하여금 제1 특징 맵을 획득하게 하고 - 제1 특징 맵은 C개의 채널들을 포함하고, 제1 특징 맵은 하나 이상의 선행 신경 네트워크 계층에 의해 생성됨 -; 제1 특징 맵에 기초하여 제1 신경 네트워크 계층 세트를 사용하여 제1 분포 파라미터 세트를 생성하게 하며; 제1 분포 파라미터 세트에 기초하여 제1 특징 맵을 제2 특징 맵으로 변환하게 하고; 제2 특징 맵을