KR-102960790-B1 - 하이브리드 공간 오디오 디코더

KR102960790B1KR 102960790 B1KR102960790 B1KR 102960790B1KR-102960790-B1

Abstract

프로세서 및 실행될 때 프로세서로 하여금 다음의 것을 수행하게 하는 명령어를 포함하는 저장 매체를 포함하는 공간 오디오 신호 디코더가 제공된다: 입력 공간 포맷을 갖는 채널의 세트를 포함하는 입력 공간 오디오 신호를 수신하는 것; 채널의 세트를, 적어도 제1 채널 서브세트 및 제2 채널 서브세트로 구획하는 것; 채널의 세트의 적어도 일부에서 표현되는 지향성 오디오 소스의 도달 방향 및 수의 추정치를 결정하는 것; 제1 채널 서브세트 신호의 능동 및 수동 성분 중 하나를, 지향성 오디오 소스의 추정된 도달 방향 및 수에 적어도 부분적으로 기초하여, 결정하는 것; 제1 채널 서브세트 신호의 능동 및 수동 성분 중 결정된 하나에 적어도 부분적으로 기초하여, 제1 채널 서브세트 신호의 능동 및 수동 성분 중 다른 하나를 결정하는 것; 제2 채널 서브세트 신호의 능동 성분을 결정하는 것; 제2 채널 서브세트 신호 및 제2 채널 서브세트 신호의 결정된 능동 성분에 기초하여, 제2 채널 서브세트 신호의 수동 성분을 결정하는 것; 제1 채널 서브세트 신호의 능동 성분을 제1 출력 포맷을 갖는 제1 출력 신호로 디코딩하는 것; 제1 및 제2 채널 서브세트 신호의 수동 성분을 제2 출력 포맷을 갖는 제2 출력 신호로 디코딩하는 것.

Inventors

굿윈 마이클 엠
페조, 조란

Assignees

디티에스, 인코포레이티드

Dates

Publication Date: 20260506
Application Date: 20200214
Priority Date: 20190606

Claims (20)

공간 오디오 신호 디코더에 있어서, 프로세서, 및 상기 프로세서에 동작 가능하게 커플링되는 비일시적 컴퓨터 판독 가능 매체 를 포함하며, 상기 비일시적 컴퓨터 판독 가능 매체는 상기 프로세서가 액세스 가능하고 상기 프로세서에 의해 실행 가능한, 이와 관련하여 저장된 복수의 명령어들을 포함하고, 상기 복수의 명령어들은, 실행될 때, 상기 프로세서로 하여금: 입력 공간 포맷을 갖는 채널들의 제1 세트(C)를 포함하는 입력 공간 오디오 신호를 수신하게 하고; 상기 입력 공간 오디오 신호의 상기 채널들의 제1 세트(C)를 적어도 상기 입력 공간 오디오 신호의 제1 채널 서브세트(C 0 ) 및 상기 입력 공간 오디오 신호의 제2 채널 서브세트(C 1 )로 구획하게(partition) 하고; 상기 입력 공간 오디오 신호의 상기 채널들의 제1 세트의 적어도 일부에서 표현되는 지향성(directional) 오디오 소스들의 도달 방향들 및 수의 추정치들을 결정하게 하고; 상기 입력 공간 오디오 신호의 상기 채널들의 상기 적어도 일부에서 표현되는 지향성 오디오 소스들의 상기 추정된 도달 방향들 및 수에 적어도 부분적으로 기초하여, 상기 제1 채널 서브세트 신호들의 능동 성분(x 0A ) 및 상기 제1 채널 서브세트 신호들의 수동 성분(x 0P ) 중 하나를 결정하게 하고; 상기 제1 채널 서브세트 신호들의 상기 능동 성분(x 0A ) 및 상기 제1 채널 서브세트 신호들의 상기 수동 성분(x 0P ) 중 상기 결정된 하나에 적어도 부분적으로 기초하여, 상기 제1 채널 서브세트 신호들의 상기 능동 성분(x 0A ) 및 상기 제1 채널 서브세트 신호들의 상기 수동 성분(x 0P ) 중 다른 것을 결정하게 하고; 상기 입력 공간 오디오 신호의 상기 채널들의 상기 적어도 일부에서 표현되는 지향성 오디오 소스들의 상기 추정된 도달 방향들에 적어도 부분적으로 기초하여, 상기 제2 채널 서브세트 신호들의 능동 성분(x 1A )을 결정하게 하고; 상기 제2 채널 서브세트 신호들(C 1 ) 및 상기 제2 채널 서브세트 신호들의 상기 결정된 능동 성분(x 1A )에 기초하여, 상기 제2 채널 서브세트 신호들의 수동 성분(x 1P )을 결정하게 하고; 상기 제1 채널 서브세트 신호들의 상기 능동 성분(x 0A )을 제1 출력 포맷을 갖는 제1 출력 신호로 디코딩하게 하고; 상기 제1 채널 서브세트 신호들의 상기 수동 성분(x 0P ) 및 상기 제2 채널 서브세트 신호들의 상기 수동 성분(x 1P )을 제2 출력 포맷을 갖는 제2 출력 신호로 디코딩하게 하는 것인, 공간 오디오 신호 디코더.
제1항에 있어서, 실행될 때, 상기 입력 공간 오디오 신호의 상기 채널들의 적어도 일부에서 표현되는 지향성 오디오 소스들의 도달 방향들 및 수의 추정치를 결정하는 상기 명령어들은, 상기 제1 채널 서브세트 신호들(C 0 )에서 표현되는 지향성 오디오 소스들의 도달 방향들 및 수의 추정치를 결정하는 것인, 공간 오디오 신호 디코더.
제1항에 있어서, 실행될 때, 상기 입력 공간 오디오 신호의 상기 채널들의 제1 세트(C)를 구획하는 상기 명령어는, 상기 입력 공간 오디오 신호의 상기 채널들의 제1 세트(C)를, 적어도 상기 입력 공간 오디오 신호의 제1 채널 서브세트(C 0 ) 및 상기 입력 공간 오디오 신호의 제2 채널 서브세트(C 1 ) 및 상기 입력 공간 오디오 신호의 제3 채널 서브세트(C 2 )로 구획하고; 그리고 실행될 때, 상기 입력 공간 오디오 신호의 상기 채널들의 적어도 일부에서 표현되는 지향성 오디오 소스들의 도달 방향들 및 수의 추정치를 결정하는 상기 명령어들은, 상기 제3 채널 서브세트 신호들(C 2 )에서 표현되는 지향성 오디오 소스들의 도달 방향 및 수의 추정치들을 결정하는 것인, 공간 오디오 신호 디코더.
제1항에 있어서, 상기 채널들의 제1 세트의 각각의 채널은 상이한 삼차원 공간 지향성 패턴(directivity pattern)에 대응하는 것인, 공간 오디오 신호 디코더.
제1항에 있어서, 상기 공간 입력 포맷은 앰비소닉 포맷(ambisonic format)을 포함하는 것인, 공간 오디오 신호 디코더.
제1항에 있어서, 상기 입력 공간 오디오 신호의 상기 제1 채널 서브세트(C 0 )는 1차 앰비소닉으로 구성되고 상기 입력 공간 오디오 신호의 제2 채널 서브세트(C 1 )는 고차 앰비소닉을 포함하는 것인, 공간 오디오 신호 디코더.
제1항에 있어서, 하나 이상의 상기 입력 공간 오디오 신호는 제1 주파수 대역 내에 있는 것인, 공간 오디오 신호 디코더.
제1항에 있어서, 상기 복수의 명령어들은, 실행될 때, 상기 프로세서로 하여금: 상기 제1 출력 신호 및 상기 제2 출력 신호를 결합하여 디코딩된 출력 신호를 제공하게 하는 것인, 공간 오디오 신호 디코더.
제1항에 있어서, 상기 제1 출력 포맷은 상기 제2 출력 포맷과 일치하는 것인, 공간 오디오 신호 디코더.
제1항에 있어서, 상기 제1 출력 포맷은 상기 제2 출력 포맷과는 상이한 것인, 공간 오디오 신호 디코더.
제1항에 있어서, 상기 제2 채널 서브세트 신호들의 상기 수동 성분(x 1P )을 결정하는 것은, 상기 제2 채널 서브세트 신호들(C 1 )로부터 상기 제2 채널 서브세트 신호들의 상기 결정된 능동 성분(x 1A )을 감산하는 것을 포함하는 것인, 공간 오디오 신호 디코더.
제1항에 있어서, 상기 복수의 명령어는, 실행될 때, 상기 프로세서로 하여금: 상기 제1 채널 서브세트 신호들의 상기 결정된 수동 성분(x 0P )을 상기 제2 채널 서브세트 신호들의 상기 결정된 수동 성분(x 1P )과 결합하여 재결합된 채널 세트에 대한 수동 성분(C P )을 제공하게 하고; 그리고 상기 입력 공간 포맷을 갖는 상기 제1 채널 서브세트 신호들의 상기 수동 성분(x 0P ) 및 상기 제2 채널 서브세트 신호들의 상기 수동 성분(x 1P )을, 제2 출력 포맷을 갖는 제2 출력 신호로 디코딩하는 것은, 상기 재결합된 채널 세트에 대한 상기 수동 성분(C P )을 디코딩하는 것을 포함하는 것인, 공간 오디오 신호 디코더.
제1항에 있어서, 실행될 때, 지향성 오디오 소스들의 상기 도달 방향 및 수를 결정하는 상기 명령어들은, 상기 입력 공간 오디오 신호의 채널 서브세트를 나타내기 위한 코드북의 하나 이상의 방향 벡터에 대응하는 하위 공간을 결정하는 것인, 공간 오디오 신호 디코더.
◈청구항 14은(는) 설정등록료 납부시 포기되었습니다.◈ 제2항에 있어서, 실행될 때, 지향성 오디오 소스들의 상기 도달 방향 및 수를 결정하는 상기 명령어들은, 상기 입력 공간 오디오 신호의 상기 제1 채널 서브세트 신호들(C 0 )을 나타내기 위한 코드북의 하나 이상의 방향 벡터에 대응하는 하위 공간을 결정하는 것인, 공간 오디오 신호 디코더.
◈청구항 15은(는) 설정등록료 납부시 포기되었습니다.◈ 제3항에 있어서, 실행될 때, 지향성 오디오 소스들의 상기 도달 방향 및 수를 결정하는 상기 명령어들은, 상기 입력 공간 오디오 신호의 상기 제3 채널 서브세트 신호들(C 2 )을 나타내기 위한 코드북의 하나 이상의 방향 벡터에 대응하는 하위 공간을 결정하는 것인, 공간 오디오 신호 디코더.
◈청구항 16은(는) 설정등록료 납부시 포기되었습니다.◈ 제1항에 있어서, 실행될 때, 지향성 오디오 소스들의 상기 도달 방향 및 수를 결정하는 상기 명령어들은, 코드북 내의 방향 벡터들에 대해 계산되는 최적성 메트릭(optimality metric)에 기초하여, 상기 입력 공간 오디오 신호의 채널 서브세트를 나타내기 위한 상기 코드북의 하나 이상의 방향 벡터에 대응하는 하위 공간을 결정하는 것인, 공간 오디오 신호 디코더.
◈청구항 17은(는) 설정등록료 납부시 포기되었습니다.◈ 제16항에 있어서, 상기 최적성 메트릭은 상기 코드북 내의 방향 벡터들과 상기 입력 공간 오디오 신호의 채널 서브세트의 노이즈 하위 공간의 하나 이상의 고유벡터(eigenvector) 사이의 하나 이상의 상관 관계를 포함하는 것인, 공간 오디오 신호 디코더.
◈청구항 18은(는) 설정등록료 납부시 포기되었습니다.◈ 제16항에 있어서, 상기 최적성 메트릭은 상기 코드북 내의 방향 벡터들과 상기 입력 공간 오디오 신호의 채널 신호들의 서브세트 사이의 상관 관계를 포함하는 것인, 공간 오디오 신호 디코더.
제1항에 있어서, 실행될 때, 지향성 오디오 소스들의 도달 방향들 및 수를 결정하는 상기 명령어들은, 상기 입력 공간 오디오 신호를 나타내기 위한 코드북의 하나 이상의 방향 벡터에 대응하는 하위 공간을 결정하고; 그리고 실행될 때, 상기 입력 공간 오디오 신호의 제1 채널 서브세트의 능동 성분(x 0A ) 및 제1 채널 서브세트의 수동 성분(x 0P )을 결정하는 상기 명령어들은, 상기 코드북의 상기 하나 이상의 방향 벡터에 대응하는 상기 결정된 하위 공간 상으로의 상기 입력 공간 오디오 신호의 채널 서브세트의 매핑에 기초하여 결정하는 것인, 공간 오디오 신호 디코더.
제1항에 있어서, 실행될 때, 상기 제1 채널 서브세트 신호들의 상기 능동 성분(x 0A )을 제1 출력 포맷을 갖는 제1 출력 신호로 디코딩하는 상기 명령어들은, 상기 결정된 도달 방향들에 적어도 부분적으로 기초하여 디코딩하는 것인, 공간 오디오 신호 디코더.

Description

하이브리드 공간 오디오 디코더 본 특허 출원은 2019년 6월 6일자로 출원된 미국 특허 출원 번호 제62/858,296호에 대한 우선권을 주장한다. 공간 오디오 신호 디코더는 통상적으로 공간 오디오 신호를 입력 공간 오디오 포맷으로부터 출력 공간 오디오 포맷으로 변환하는 하나 이상의 동작을 수행한다. 공지된 공간 오디오 신호 포맷 디코딩 기술은 수동 디코딩 및 능동 디코딩을 포함한다. 수동 공간 디코더(passive spatial decoder)는, 예를 들면, 입력 공간 오디오 포맷과 출력 공간 오디오 포맷 및 어쩌면 주파수와 같은 외부 파라미터에 기초하는, 그러나, 예를 들면, 오디오 입력 신호에서 오디오 소스의 도달 방향(direction of arrival)과 같은, 오디오 입력 신호의 공간적 특성에 의존하지 않는 디코딩 동작을 실행한다. 따라서, 수동 공간 디코더는, 공간 오디오 신호 포맷에 부분적으로 기초할 수 있는 그러나 입력 신호의 공간적 특성과는 독립적인 하나 이상의 동작을 수행한다. 다른 한편으로, 능동 공간 디코더는 입력 공간 오디오 신호 포맷, 출력 공간 오디오 신호 포맷 및 어쩌면, 예를 들면, 주파수와 같은 외부 파라미터뿐만 아니라, 오디오 입력 신호의 공간적 특성에 기초하는 디코딩 동작을 수행한다. 능동 공간 디코더는 오디오 입력 신호의 공간적 특성에 적응되는 하나 이상의 동작을 종종 수행한다. 능동 및 수동 공간 디코더는 종종 보편성이 부족하다. 수동 공간 디코더는 종종 지향성(directional) 오디오 소스를 블러링한다(blur). 예를 들면, 수동 공간 디코더는 때때로 입력 오디오 신호 포맷의 별개의 포인트 소스를 포인트 소스 방향으로 국소화되는 서브세트 대신 (오디오 플레이백 시스템에 대응하는) 출력 공간 오디오 포맷의 모든 채널에 렌더링한다. 다른 한편으로, 능동 공간 디코더는, 종종, 그러한 소스를, 지향성으로서, 예를 들면, 적은 수의 음향 평면파(acoustic plane wave)로서 모델링하는 것에 의해, 확산 소스를 포커싱한다. 결과적으로, 능동 공간 디코더는 때때로 무지향성(nondirectional) 오디오 신호에 방향성(directionality)을 부여한다. 예를 들면, 능동 공간 디코더는, 때때로, 반향(reverberation)의 공간적 특성이 디코더에 의해 보존되지 않도록, 특정한 방향으로부터의 무지향성 반향을 (오디오 플레이백 시스템에 대응하는) 출력 공간 오디오 포맷으로 렌더링한다. 하나의 양태에서, 프로세서 및 그에 동작 가능하게 커플링되는 저장 매체를 포함하는 공간 오디오 신호 디코더가 제공되는데, 저장 매체는, 실행될 때, 프로세서로 하여금, 입력 공간 포맷을 갖는 채널의 제1 세트를 포함하는 입력 공간 오디오 신호를 수신하는 것을 포함하는 프로세스를 수행하게 하는 복수의 명령어를 포함한다. 입력 공간 오디오 신호의 채널의 제1 세트는, 적어도, 입력 공간 오디오 신호의 제1 채널 서브세트 및 입력 공간 오디오 신호의 제2 채널 서브세트로 구획된다(partitioned). 입력 공간 오디오 신호의 채널 중 적어도 일부에서 표현되는 오디오 소스에 대해 도달 방향 및 수의 추정치가 결정된다. 제1 채널 서브세트 신호의 능동 및 수동 성분 중 하나는 지향성 오디오 소스의 추정된 도달 방향 및 수에 적어도 부분적으로 기초하여 결정된다. 제1 채널 서브세트 신호의 능동 및 수동 성분 중 다른 하나는 제1 채널 서브세트 신호의 능동 및 수동 성분 중 결정된 하나에 적어도 부분적으로 기초하여 결정된다. 제2 채널 서브세트 신호의 능동 성분은 지향성 오디오 소스의 추정된 도달 방향에 적어도 부분적으로 기초하여 결정된다. 제2 채널 서브세트 신호의 수동 성분은, 제2 채널 서브세트 신호 및 제2 채널 서브세트 신호의 능동 성분에 기초하여 결정된다. 제1 채널 서브세트 신호의 능동 성분은 제1 출력 포맷을 갖는 제1 출력 신호로 디코딩된다. 제1 및 제2 채널 서브세트 신호의 수동 성분은 제2 출력 포맷을 갖는 제2 출력 신호로 디코딩된다. 반드시 일정한 비율로 묘화되지는 않는 도면에서, 동일한 도면 부호는 상이한 도면에서 유사한 컴포넌트를 설명할 수도 있다. 상이한 문자 접미사를 갖는 동일한 도면 부호는 유사한 컴포넌트의 상이한 인스턴스를 나타낼 수도 있다. 도면은 일반적으로, 제한으로서가 아니라 예로서, 본 문헌에서 논의되는 다양한 실시형태를 예시한다. 도 1a는, 입력 공간 포맷의 입력 오디오 신호를 출력 공간 포맷의 출력 오디오 신호로 디코딩하기 위한 예시적인 공간 오디오 공간 디코더의 동작을 나타내는 예시적인 일반화된 블록도이다. 도 1b는 도 1a의 일반화된 공간 오디오 디코더의 예시적인 구성을 나타내는 예시적인 도면이다. 도 2는, HOA(higher order ambisonics; 고차 앰비소닉) 공간 오디오 포맷의 입력 공간 오디오 신호를, 멀티채널 오디오 재생 시스템에 적절한 출력 공간 오디오 포맷의 출력 공간 오디오 신호로 디코딩하기 위한 예시적인 공간 오디오 디코더의 동작을 나타내는 예시적인 일반화된 블록도이다. 도 3은 예시적인 제1 고차 앰비소닉 디코더 시스템의 예시적인 개략적 블록도이다. 도 4는 도 3의 예시적인 능동/수동 분해 블록의 예시적인 블록도이다. 도 5는 예시적인 하이브리드 고차 디코딩 프로세스를 나타내는 예시적인 흐름도이다. 도 6a는 예시적인 주파수 대역 구획부(frequency band partition)의 대역폭을 로그-로그 스케일(log-log scale) 상에서 대역 중심 주파수의 함수로서 도시하는 예시적인 차트이다. 도 6b는 주파수 빈(frequency bin)을 주파수 대역으로 그룹화하기 위한 주파수 대역 에지의 예시적인 사용을 나타내는 예시적인 도면이다. 도 7은 B 포맷(B-format) 앰비소닉 공간 포맷을 나타내는 예시적인 도면이다. 도 8은 도 4의 예시적인 서브세트 재결합 블록(subset recombination block)의 예시적인 블록도이다. 도 9는 예시적인 제2 공간 디코더 시스템의 개략적인 블록도이다. 도 10은 예시적인 제3 공간 디코더 시스템의 개략적인 블록도이다. 도 11은, 몇몇 예시적인 실시형태에 따른, 머신 판독 가능 매체(예를 들면, 머신 판독 가능 저장 매체)로부터 명령어를 판독할 수 있는 그리고 본원에서 논의되는 방법론 중 임의의 하나 이상을 수행할 수 있는 머신의 컴포넌트를 예시하는 예시적인 블록도이다. 개요 능동 및 수동 디코딩의 결합(combination)을 사용하는 고품질 1차 앰비소닉(first-order ambisonic; FOA) 공간 오디오 디코더가 이전에 개발되었다. 1차 앰비소닉(FOA) 신호를 디코딩하는 데 적합한, 2019년 8월 16일자로 출원된 발명의 명칭이 Spatial Audio Signal Decoder인 미국 특허 출원 일련 번호 제16/543,083호를 참조한다. 이전의 고품질 FOA 공간 오디오 디코더는, 입력 공간 포맷을 갖는 입력 공간 오디오 신호에서 표현되는 지향성 오디오 소스의 도달 방향 및 수를 결정한다. 이전 디코더는, 지향성 오디오 소스의 결정된 도달 방향 및 수에 기초하여, 입력 오디오 신호의 능동 공간 오디오 신호 성분 및 수동 공간 오디오 신호 성분을 결정한다. 이전 디코더는 능동 입력 공간 오디오 신호 성분을 제1 출력 신호로 디코딩하고 수동 입력 신호 성분을 제2 출력 신호로 디코딩한다. 제1 출력 신호 및 제2 출력 신호는 결합되어 최종 출력 신호를 형성한다. 본 발명자는, 능동 및 수동 디코딩의 결합을 사용하는 고품질 고차 앰비소닉(HOA) 공간 오디오 디코더에 대한 필요성을 인식하였다. 한 가지 가능한 접근법은, 이전에 출원된 특허 출원에서 사용되는 능동 및 수동 디코딩 접근법을 HOA 채널로 확장하는 것이다. 그러나, 능동 디코딩은 계산적으로 비용이 많이 들고 HOA 채널의 능동 디코딩은 디코더 계산 비용 및 복잡도를 크게 증가시킬 수 있다. 그러나, 본 발명자는, 본 발명자에 의해 이전에 개발된 FOA 디코더가 공간적으로 강건하기 때문에, HOA 채널의 능동 디코딩이 지각적으로(perceptually) 필요하지 않을 수도 있다는 것을 인식하였는데, 이것은 공간 정보를 캡쳐하기 위한 HOA 채널의 능동 디코딩의 필요성을 크게 제거한다. 더 구체적으로, 본 발명자는, 입력 공간 포맷을 갖는 입력 공간 오디오 신호에서 표현되는 지향성 오디오 소스의 도달 방향 및 수를 결정하는 디코더를 개발하였다. 디코더는, 지향성 오디오 소스의 결정된 도달 방향 및 수에 기초하여, 입력 오디오 신호의 능동 공간 오디오 신호 성분 및 수동 공간 오디오 신호 성분을 결정한다. 디코더는 FOA 디코더를 사용하여 능동 입력 공간 오디오 신호 성분을 디코딩하고 수동 FOA 성분을 또한 디코딩하는 HOA 디코더를 사용하여 수동 입력 신호 성분을 디코딩한다. 본 발명자는 하이브리드 고차 앰비소닉 디코더 시스템을 개발하였다. 디코더 시스템은, 채널의 세트를 포함하는 입력 신호를 제1 채널 서브세트 및 제2 채널 서브세트로 구획한다. 앰비소닉 입력 오디오 신호는 복수의 오디오 채널을 포함하는데, 각각의 채널은 상이한 삼차원 지향성 패턴(directivity pattern)에 대응한다. 오디오 소스는 지향성 패턴에 따라 앰비소닉 채널에서 인코딩된다; 예를 들면, 소정의 방향의 포인트 소스는 그 방향에 대한 채널 지향성 패턴의 각각의 이득을 사용하여 앰비소닉 포맷 채널에서 인코딩된다. 디코더 시스템은, 입력 신호에서 표현되는 능동 음원의 도달 방향에 대응하는 방향을 식별하기 위해, 제1 채널 서브세트에서의 신호의 공간 분석을 사용한다. 디코더 시스템은, 입력 신호에서 표현되는 능동 음원의 도달 방향에 대응하는 방향과 관련되는 제1 채널 서브세트 내의 신호 성분을 디코딩하기 위해, 능동 FOA 디코더를 사용한다. 디코더는 수동 HOA 디코더를 사용하여 능동 음원의 도달 방향에 대응하지 않는 제1 채널 서브세트 내의 신호 성분을 디코딩하고 능동 음원의 도달 방향에 대응하지 않는 제2 채널 서브세트 내의 신호 성분을 디코딩한다. 1차 앰비소닉 오디오 디코더 도 1a는, 입력 공간 오디오 포맷(104)의 입력 공