Search

KR-20260061442-A - 포인트 클라우드 처리를 위한 희소 GLCM: 그레이 레벨 동시 발생 행렬 계산

KR20260061442AKR 20260061442 AKR20260061442 AKR 20260061442AKR-20260061442-A

Abstract

그레이 레벨 동시 발생 행렬(GLCM) 기술을 2D로부터 희소 3D 도메인으로 확장함으로써 포인트 클라우드 데이터를 분류하는 신규한 방법이 본 명세서에 설명된다. 방법은 (RWTT(Real-World Textured Things) 메시 컬렉션과 같은) 메시 컬렉션/메시들로부터 도출된 포인트 클라우드들에 적용될 수 있다. 다수의 목적을 위해 설계된 구현들이 본 명세서에 설명된다: RWTT 메시들의 샘플링 및 양자화, GLCM들 및 대응하는 텍스처 디스크립터들의 생성, 및 이들 추출된 디스크립터들에 기초한 잠재적인 후보 포인트 클라우드들의 선택.

Inventors

  • 자게토 알렉산드르
  • 그라지오시 다닐로
  • 타바타바이 알리

Assignees

  • 소니그룹주식회사
  • 소니 코포레이션 오브 아메리카

Dates

Publication Date
20260506
Application Date
20240910
Priority Date
20240628

Claims (20)

  1. 디바이스의 비일시적 메모리에 프로그래밍된 방법으로서, 복셀들의 세트를 찾는 단계; 그레이 레벨 동시 발생 행렬(GLCM)을 각각의 GLCM 채널에 대한 상기 복셀들의 세트에서의 2개의 가장 먼 복셀의 컬러들에 기초하여 계산하는 단계; 및 상기 GLCM으로부터 텍스처 메트릭들을 계산하는 단계 를 포함하는, 방법.
  2. 제1항에 있어서, 다수의 컬러 채널들이 있을 때 채널당 하나의 GLCM이 계산되는, 방법.
  3. 제1항에 있어서, 원래의 다중 자극 컬러 공간을 지배적인 단일 자극 컬러 공간으로 맵핑하는 컬러 변환을 수행하는 단계, 및 하나의 GLCM만을 계산하는 단계를 더 포함하는, 방법.
  4. 제1항에 있어서, 비정규 경계 박스에 의해 지정된 특정 방향으로 상기 복셀 주위의 검색 공간을 완화시킴으로써 방향성 사용자 지정 이웃을 이용하는 단계를 더 포함하는, 방법.
  5. 제4항에 있어서, 상기 비정규 경계 박스에 의해 지정된 상기 특정 방향은 수직, 수평 또는 대각선을 포함하는, 방법.
  6. 제1항에 있어서, 상기 텍스처 메트릭들은 에너지, 엔트로피, 상관, 동질성 또는 콘트라스트를 포함하는, 방법.
  7. 제1항에 있어서, 상기 텍스처 메트릭들에 기초하여 포인트 클라우드 분류를 수행하는 단계를 더 포함하는, 방법.
  8. 제1항에 있어서, 상기 복셀들의 세트는 6-D 결합 (x, y, z, R, G, B) 차원 희소 신호 내에 있는, 방법.
  9. 장치로서, 애플리케이션을 저장하기 위한 비일시적 메모리 - 상기 애플리케이션은, 복셀들의 세트를 찾고; 그레이 레벨 동시 발생 행렬(GLCM)을 각각의 GLCM 채널에 대한 상기 복셀들의 세트에서의 2개의 가장 먼 복셀의 컬러들에 기초하여 계산하고; 상기 GLCM으로부터 텍스처 메트릭들을 계산하기 위한 것임 -; 및 상기 메모리에 결합된 프로세서 - 상기 프로세서는 상기 애플리케이션을 처리하도록 구성됨 - 를 포함하는, 장치.
  10. 제9항에 있어서, 다수의 컬러 채널들이 있을 때 채널당 하나의 GLCM이 계산되는, 장치.
  11. 제9항에 있어서, 상기 애플리케이션은 원래의 다중 자극 컬러 공간을 지배적인 단일 자극 컬러 공간으로 맵핑하는 컬러 변환을 수행하고, 하나의 GLCM만을 계산하도록 구성되는, 장치.
  12. 제9항에 있어서, 상기 애플리케이션은 비정규 경계 박스에 의해 지정된 특정 방향으로 상기 복셀 주위의 검색 공간을 완화시킴으로써 방향성 사용자 지정 이웃을 이용하도록 구성되는, 장치.
  13. 제12항에 있어서, 상기 비정규 경계 박스에 의해 지정된 상기 특정 방향은 수직, 수평 또는 대각선을 포함하는, 장치.
  14. 제9항에 있어서, 상기 텍스처 메트릭들은 에너지, 엔트로피, 상관, 동질성 또는 콘트라스트를 포함하는, 장치.
  15. 제9항에 있어서, 상기 애플리케이션은 상기 텍스처 메트릭들에 기초하여 포인트 클라우드 분류를 수행하도록 구성되는, 장치.
  16. 제9항에 있어서, 상기 복셀들의 세트는 6-D 결합 (x, y, z, R, G, B) 차원 희소 신호 내에 있는, 장치.
  17. 시스템으로서, 인코더 - 상기 인코더는, 복셀들의 세트를 찾고; 그레이 레벨 동시 발생 행렬(GLCM)을 각각의 GLCM 채널에 대한 상기 복셀들의 세트에서의 2개의 가장 먼 복셀의 컬러들에 기초하여 계산하고; 상기 GLCM으로부터 텍스처 메트릭들을 계산하고; 상기 텍스처 메트릭들에 기초하여 포인트 클라우드 분류를 수행하도록 구성됨 -; 및 상기 포인트 클라우드 분류를 수신하도록 구성된 디코더 를 포함하는, 시스템.
  18. 제17항에 있어서, 다수의 컬러 채널들이 있을 때 채널당 하나의 GLCM이 계산되는, 시스템.
  19. 제17항에 있어서, 상기 인코더는 원래의 다중 자극 컬러 공간을 지배적인 단일 자극 컬러 공간으로 맵핑하는 컬러 변환을 수행하고, 하나의 GLCM만을 계산하도록 구성되는, 시스템.
  20. 제17항에 있어서, 상기 인코더는 비정규 경계 박스에 의해 지정된 특정 방향으로 상기 복셀 주위의 검색 공간을 완화시킴으로써 방향성 사용자 지정 이웃을 이용하도록 구성되는, 시스템.

Description

포인트 클라우드 처리를 위한 희소 GLCM: 그레이 레벨 동시 발생 행렬 계산 관련 출원(들)에 대한 상호 참조 본 출원은 35 U.S.C. §119(e) 하에서, 2023년 10월 3일자로 출원된, "Sparce GLCM: Gray-level Co-occurrence Matrix Computation for Point Cloud Processing"라는 명칭의 미국 가특허 출원 제63/587,574호의 우선권을 주장하며, 이 가특허 출원은 모든 목적을 위해 그 전체가 본 명세서에 참조로 포함된다. 발명의 분야 본 발명은 3차원 그래픽에 관한 것이다. 더 구체적으로, 본 발명은 3차원 그래픽의 코딩에 관한 것이다. 포인트 클라우드 압축(point cloud compression)은, 가상 현실(VR), 증강 현실(AR), 원격통신, 자율 차량, 및 세계 유산의 디지털 보존과 같은 다양한 응용들에서 이용되는, 많은 세트의 3D 데이터 포인트들을 처리하기 위한 중요한 기술이다. 목표는 세부사항 또는 정확도를 크게 잃지 않고 포인트 클라우드들에서 엄청난 양의 데이터를 효율적으로 압축하는 것이다. MPEG(Moving Picture Experts Group)은 포인트 클라우드 압축을 위한 2개의 주요 표준들: 지오메트리 기반 포인트 클라우드 압축(Geometry-based Point Cloud Compression)(G-PCC) 및 비디오 기반 포인트 클라우드 압축(Video-based Point Cloud Compression)(V-PCC)을 개발했다. V-PCC는 3D 포인트 클라우드들을 2D 평면들 상에 투영하고, 이들 투영들을 비디오 스트림들로서 인코딩함으로써 기존의 비디오 압축 기술들을 활용한다. 이러한 접근법은 실시간 통신 또는 상호작용 VR/AR 환경들에서의 것들과 같은 동적 포인트 클라우드들에 대해 특히 유리하다. G-PCC는 포인트 클라우드들의 3D 기하학적 데이터를 직접 압축하는 것에 초점을 맞춘다. G-PCC는 문화 유산 보존에 이용되는 것들과 같은 정적 포인트 클라우드들, 또는 자율 내비게이션에 이용되는 희소 포인트 클라우드들(sparse point clouds)에 특히 효과적이다. 투영 기반 방법(비디오 기반 방법, 또는 V-PCC로도 알려짐)의 3D 포인트 클라우드들을 코딩하는 것에 대한 성공으로 인해, 표준은 미래의 버전들에서 동적 메시들(dynamic meshes)과 같은 추가의 3D 데이터를 포함할 것으로 예상된다. 그러나, 릴리즈된 표준들의 현재 버전들은 접속되지 않은 포인트들의 세트의 송신에만 적합하며, 동적 메시 압축에서 요구되는 바와 같이, 포인트들의 접속성을 전송하기 위한 표준화된 메커니즘이 여전히 존재하지 않는다. AI 기반 포인트 클라우드 압축의 발전으로 인해, MPEG는 AI 기술들을 조사하고 가능하게는 통합하도록 동기부여된다. 관심은 몰입형 경험들 및 자율 내비게이션과 같은 응용들에 결정적인, 광범위한 동적 포인트 클라우드들을 관리할 수 있는 학습 기반 코덱들(learning-based codecs)에 있다. 146번째 MPEG 회의 동안, MPEG 기술 요건들(WG 2)은 AI 기반 포인트 클라우드 코딩 기술들에 대한 CfP(Call for Proposals)를 발표하였다. 이러한 AI 기반 기술들의 필수 컴포넌트는 훈련된 모델들의 효능에 도전할 수 있는 테스트 세트이다. 이러한 맥락에서, 데이터 세트 샘플들이 원하는 이용 사례를 상당히 나타내도록 데이터 세트 샘플들을 분류할 수 있는 방법들이 중요하다. 그레이 레벨 동시 발생 행렬(Gray-level Co-occurrence Matrix)(GLCM) 기술을 2D로부터 희소 3D 도메인으로 확장함으로써 포인트 클라우드 데이터를 분류하는 신규한 방법이 본 명세서에 설명된다. 방법은 (RWTT(Real-World Textured Things) 메시 컬렉션과 같은) 메시 컬렉션/메시들로부터 도출된 포인트 클라우드들에 적용될 수 있다. 다수의 목적을 위해 설계된 구현들이 본 명세서에 설명된다: RWTT 메시들의 샘플링 및 양자화, GLCM들 및 대응하는 텍스처 디스크립터들(texture descriptors)의 생성, 및 이들 추출된 디스크립터들에 기초한 잠재적인 후보 포인트 클라우드들의 선택. 일 양태에서, 디바이스의 비일시적 메모리에 프로그래밍된 방법은, 복셀들(voxels)의 세트를 찾는 단계, 그레이 레벨 동시 발생 행렬(GLCM)을 각각의 GLCM 채널에 대한 복셀들의 세트에서의 2개의 가장 먼 복셀의 컬러들에 기초하여 계산하는 단계, 및 GLCM으로부터 텍스처 메트릭들(texture metrics)을 계산하는 단계를 포함한다. 다수의 컬러 채널들이 있을 때 채널당 하나의 GLCM이 계산된다. 방법은 원래의 다중 자극 컬러 공간(multi-stimulus color space)을 지배적인 단일 자극 컬러 공간(dominant single-stimulus color space)으로 맵핑하는 컬러 변환을 수행하는 단계, 및 하나의 GLCM만을 계산하는 단계를 더 포함한다. 방법은 비정규 경계 박스(non-regular bounding box)에 의해 지정된 특정 방향으로 복셀 주위의 검색 공간을 완화시킴으로써 방향성 사용자 지정 이웃(directional, user-specified neighborhood)을 이용하는 단계를 더 포함한다. 비정규 경계 박스에 의해 지정된 특정 방향은 수직, 수평 또는 대각선을 포함한다. 텍스처 메트릭들은 에너지(energy), 엔트로피(entropy), 상관(correlation), 동질성(homogeneity) 또는 콘트라스트(contrast)를 포함한다. 방법은 텍스처 메트릭들에 기초하여 포인트 클라우드 분류를 수행하는 단계를 더 포함한다. 복셀들의 세트는 6-D 결합(joint) (x, y, z, R, G, B) 차원 희소 신호 내에 있다. 다른 양태에서, 장치는, 애플리케이션을 저장하기 위한 비일시적 메모리 - 애플리케이션은 복셀들의 세트를 찾고, 그레이 레벨 동시 발생 행렬(GLCM)을 각각의 GLCM 채널에 대한 복셀들의 세트에서의 2개의 가장 먼 복셀의 컬러들에 기초하여 계산하고, GLCM으로부터 텍스처 메트릭들을 계산하기 위한 것임 -, 및 메모리에 결합된 프로세서 - 프로세서는 애플리케이션을 처리하도록 구성됨 - 를 포함한다. 다수의 컬러 채널들이 있을 때 채널당 하나의 GLCM이 계산된다. 애플리케이션은 원래의 다중 자극 컬러 공간을 지배적인 단일 자극 컬러 공간으로 맵핑하는 컬러 변환을 수행하고, 하나의 GLCM만을 계산하도록 구성된다. 애플리케이션은 비정규 경계 박스에 의해 지정된 특정 방향으로 복셀 주위의 검색 공간을 완화시킴으로써 방향성 사용자 지정 이웃을 이용하도록 구성된다. 비정규 경계 박스에 의해 지정된 특정 방향은 수직, 수평 또는 대각선을 포함한다. 텍스처 메트릭들은 에너지, 엔트로피, 상관, 동질성 또는 콘트라스트를 포함한다. 애플리케이션은 텍스처 메트릭들에 기초하여 포인트 클라우드 분류를 수행하도록 구성된다. 복셀들의 세트는 6-D 결합 (x, y, z, R, G, B) 차원 희소 신호 내에 있다. 다른 양태에서, 시스템은, 인코더 - 인코더는 복셀들의 세트를 찾고, 그레이 레벨 동시 발생 행렬(GLCM)을 각각의 GLCM 채널에 대한 복셀들의 세트에서의 2개의 가장 먼 복셀의 컬러들에 기초하여 계산하고, GLCM으로부터 텍스처 메트릭들을 계산하고, 텍스처 메트릭들에 기초하여 포인트 클라우드 분류를 수행하도록 구성됨 -, 및 포인트 클라우드 분류를 수신하도록 구성된 디코더를 포함한다. 다수의 컬러 채널들이 있을 때 채널당 하나의 GLCM이 계산된다. 인코더는 원래의 다중 자극 컬러 공간을 지배적인 단일 자극 컬러 공간으로 맵핑하는 컬러 변환을 수행하고, 하나의 GLCM만을 계산하도록 구성된다. 인코더는 비정규 경계 박스에 의해 지정된 특정 방향으로 복셀 주위의 검색 공간을 완화시킴으로써 방향성 사용자 지정 이웃을 이용하도록 구성된다. 비정규 경계 박스에 의해 지정된 특정 방향은 수직, 수평 또는 대각선을 포함한다. 텍스처 메트릭들은 에너지, 엔트로피, 상관, 동질성 또는 콘트라스트를 포함한다. 복셀들의 세트는 6-D 결합 (x, y, z, R, G, B) 차원 희소 신호 내에 있다. 도 1은 일부 실시예들에 따른, 픽셀들 사이의 공간 관계들의 도면을 도시한다. 도 2는 일부 실시예들에 따른, 예시적인 그레이 레벨 동시 발생 행렬(GLCM)의 도면을 도시한다. 도 3은 일부 실시예들에 따른, RGB 컬러 공간에서의 희소 GLCM의 도면을 도시한다. 도 4는 일부 실시예들에 따른, 방향성 경계 박스들의 도면을 도시한다. 도 5는 일부 실시예들에 따른, 텍스처 메트릭들을 생성하는 도면을 도시한다. 도 6은 일부 실시예들에 따른, GLCM의 3D 확장의 도면을 도시한다. 도 7은 일부 실시예들에 따른, 적색, 녹색 및 청색 GLCM들의 예들을 도시한다. 도 8은 일부 실시예에 따른, 텍스처 클래스들을 정의하기 위한 K-평균 클러스터링(means clustering)의 도면을 도시한다. 도 9 내지 도 11은 일부 실시예들에 따른, 희소 GLCM을 이용한 포인트 클라우드 분류의 예들을 도시한다. 도 12는 일부 실시예들에 따른, 클래스 분석의 도면을 도시한다. 도 13 내지 도 16은 일부 실시예들에 따른, 각각의 포인트 클라우드가 메트릭들의 쌍들에서 그의 대응하는 클래스 내에 어떻게 위치하는지를 도시한다. 도 17은 일부 실시예들에 따른, 신경망 기반 속성 품질 인덱스(neural network-based attribute quality index)의 도면을 도시한다. 도 18은 일부 실시예들에 따른, 희소 GLCM을 구현하는 흐름도를 도시한다. 도 19는 일부 실시예들에 따른, 희소 GLCM 방법을 구현하도록 구성된 예시적인 컴퓨팅 디바이스의 블록도를 도시한다. 데이터세트 내의 포인트 클라우드들은 속성들의 관점에서 중요한 표현을 나타내지 않는다. 검출된 결함을 다루기 위해, 기여자들은 RWTT(Real-World Textured Thing) 컬렉션으로부터 선택된 메시