Search

KR-102961678-B1 - 다중 기준 라인 선택 방식을 위한 로우 메모리 설계

KR102961678B1KR 102961678 B1KR102961678 B1KR 102961678B1KR-102961678-B1

Abstract

비디오 디코딩에서 다중 기준 라인 인트라 예측을 위한 방법, 장치 및 컴퓨터 판독 가능 저장 매체. 이 방법은 장치에 의해 현재 블록에 대한 코딩된 비디오 비트스트림을 수신하는 단계를 포함한다. 이 장치는 명령어를 저장하는 메모리 및 메모리와 통신하는 프로세서를 포함한다. 이 방법은 또한, 장치에 의해, 코딩된 비디오 비트스트림으로부터 현재 블록의 인트라 예측을 위한 기준 라인을 지시하는 파라미터를 추출하는 단계; 장치에 의해, 복수의 서브 블록을 획득하기 위해 현재 블록을 분할하는 단계; 및 복수의 서브 블록의 서브 블록이 현재 블록의 경계에 위치됨에 응답하여, 장치에 의해, 서브 블록을 위한 모든 상단 비인접 기준 라인에 대한 값으로서 상단 인접 기준 라인을 사용하는 단계를 포함한다.

Inventors

  • 자오 량
  • 자오 신
  • 리우 샨

Assignees

  • 텐센트 아메리카 엘엘씨

Dates

Publication Date
20260506
Application Date
20220118
Priority Date
20220106

Claims (20)

  1. 비디오 디코딩에서 다중 기준 라인 인트라 예측을 위한 방법으로서, 명령어를 저장하는 메모리 및 상기 메모리와 통신하는 프로세서를 포함하는 장치에 의해, 현재 블록에 대한 코딩된 비디오 비트스트림을 수신하는 단계; 상기 장치에 의해, 상기 코딩된 비디오 비트스트림으로부터 상기 현재 블록의 인트라 예측을 위한 하나의 비인접(non-adjacent) 기준 라인을 지시하는 파라미터를 추출하는 단계; 상기 장치에 의해, 복수의 서브 블록들을 획득하기 위해 상기 현재 블록을 분할하는 단계; 및 상기 복수의 서브 블록들의 서브 블록이 상기 현재 블록의 경계에 위치됨에 응답하여, 상기 장치에 의해, 상단 인접 기준 라인을 상기 서브 블록에 대한 모든 상단 비인접 기준 라인에 대한 값으로서 사용하는 단계 를 포함하는 다중 기준 라인 인트라 예측을 위한 방법.
  2. 제1항에 있어서, 상기 장치에 의해, 상기 서브 블록에 대해 좌측 인접 기준 라인을 사용하는 단계 를 더 포함하는 다중 기준 라인 인트라 예측을 위한 방법.
  3. 제1항에 있어서, 상기 현재 블록은 슈퍼 블록, 최대 코딩 블록, 코딩 트리 블록(coding tree block, CTB), 최대 코딩 유닛(largest coding unit, LCU), 미리 정의된 크기를 갖는 미리 정의된 블록 중 적어도 하나를 포함하는, 다중 기준 라인 인트라 예측을 위한 방법.
  4. 제1항에 있어서, 상기 현재 블록의 경계는 상기 현재 블록의 상단 경계, 또는 상기 현재 블록의 좌측 경계, 또는 상기 현재 블록의 좌측 및 상단 경계 모두 중 하나를 포함하는, 다중 기준 라인 인트라 예측을 위한 방법.
  5. 제1항에 있어서, 상기 상단 인접 기준 라인을 상기 서브 블록에 대한 모든 상단 비인접 기준 라인에 대한 값으로서 사용하는 단계는, 상기 상단 인접 기준 라인에서 모든 다른 상단 비인접 기준 라인으로 샘플을 복사하는 단계 를 포함하는, 다중 기준 라인 인트라 예측을 위한 방법.
  6. 제1항에 있어서, 상기 장치에 의해, 복수의 변환 블록들을 획득하기 위해 상기 서브 블록을 분할하는 단계 를 더 포함하는 다중 기준 라인 인트라 예측을 위한 방법.
  7. 제1항에 있어서, 상기 복수의 변환 블록들 중 제1 변환 블록이 상기 서브 블록의 상단 경계에 위치됨에 응답하여, 상기 장치에 의해, 상기 상단 인접 기준 라인을 상기 제1 변환 블록을 위한 모든 상단 비인접 기준 라인에 대한 값으로서 사용하는 단계; 및 상기 복수의 변환 블록들 중 제2 변환 블록이 상기 서브 블록의 상단 경계에 위치되지 않음에 응답하여, 상기 장치에 의해, 상기 제2 변환 블록에 대한 파라미터에 의해 지시되는 기준 라인을 사용하는 단계 를 더 포함하는 다중 기준 라인 인트라 예측을 위한 방법.
  8. 비디오 디코딩에서 다중 기준 라인 인트라 예측을 위한 장치로서, 명령어를 저장하는 메모리; 및 상기 메모리와 통신하는 프로세서 ― 상기 프로세서가 상기 명령어를 실행할 때, 상기 프로세서는 상기 장치로 하여금 제1항 내지 제7항 중 어느 한 항에 따른 다중 기준 라인 인트라 예측을 위한 방법을 수행하도록 구성됨 - 를 포함하는 다중 기준 라인 인트라 예측을 위한 장치.
  9. 비일시적 컴퓨터 판독 가능 저장 매체로서, 명령어를 저장하며, 상기 명령어가 프로세서에 의해 실행될 때, 상기 명령어는 상기 프로세서로 하여금 제1항 내지 제7항 중 어느 한 항에 따른 다중 기준 라인 인트라 예측을 위한 방법을 수행하도록 구성되는, 비일시적 컴퓨터 판독 가능 저장 매체.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제

Description

다중 기준 라인 선택 방식을 위한 로우 메모리 설계 본 출원은 2021년 4월 16일에 출원된 미국 가특허 출원 제63/175,929호 및 2022년 1월 6일에 출원된 미국 가특허 출원 제17/569,681호에 기초하여 우선권을 주장하며 이들 둘 다 그 전체가 참조로서 본 명세서에 포함된다. 본 개시는 비디오 코딩 및/또는 디코딩 기술에 관한 것으로, 구체적으로는, 개선된 로우 메모리 설계(low memory design) 및 다중 기준 라인 선택 방식의 시그널링에 관한 것이다. 본 명세서에서 제공된 이러한 배경 설명은 본 개시의 맥락을 일반적으로 제시하기 위한 것이다. 현재 명명된 발명자의 작업은 본 배경 섹션에서 설명된 한도 내에서 본 출원을 제출할 당시 선행 기술로 인정되지 않을 수 있는 설명의 측면은 물론 명시적으로나 암시적으로 본 개시에 대한 선행 기술로 인정되지 않는다. 비디오 코딩 및 디코딩은 모션 보상과 함께 픽처 간 예측을 사용하여 수행될 수 있다. 압축되지 않은 디지털 비디오는 일련의 픽처를 포함할 수 있으며, 각각의 픽처는 예를 들어 1920 x 1080 휘도 샘플 및 연관된 전체 또는 부분 샘플링된 색차 샘플의 공간 차원을 갖는다. 일련의 픽처는 예를 들어 초당 60개의 픽처 또는 초당 60개의 프레임의 고정 또는 가변 픽처 속도(다르게는 프레임 속도로서 지칭됨)를 가질 수 있다. 압축되지 않은 비디오는 특정 비트레이트 요구사항을 갖는다. 예를 들어, 1920 x 1080의 픽셀 해상도, 60 프레임/초의 프레임 속도, 색상 채널당 픽셀당 8 비트에서 4:2:0의 크로마 서브샘플링을 사용하는 비디오에는 1.5 Gbit/s에 가까운 대역폭이 필요하다. 이러한 1시간의 비디오는 600GB 이상의 저장 공간을 필요로 한다. 비디오 코딩 및 디코딩의 한 가지 목적은 압축을 통해 압축되지 않은 입력 비디오 신호의 중복성을 감소시키는 것일 수 있다. 압축은 앞서 언급된 대역폭 및/또는 저장 공간 요구사항을 경우에 따라 2배 이상으로 감소시키는 데 도움이 될 수 있다. 무손실 압축 및 손실 압축, 및 이들의 조합이 모두 사용될 수 있다. 무손실 압축은 디코딩 프로세스를 통해 압축된 원래 신호에서 원래 신호의 정확한 복사본이 재구성될 수 있는 기술을 지칭한다. 손실 압축은 원래 비디오 정보가 코딩 중에 완전히 유지되지 않고 디코딩 중에 완전히 복원될 수 없는 코딩/디코딩 프로세스를 지칭한다. 손실 압축을 사용하는 경우, 재구성된 신호는 원래 신호와 동일하지 않을 수 있지만, 원래 신호와 재구성된 신호 사이의 왜곡은 약간의 정보 손실에도 불구하고 의도된 애플리케이션에 유용하도록 재구성된 신호를 렌더링할 수 있을 만큼 충분히 작게 만들어진다. 비디오의 경우, 손실 압축은 많은 애플리케이션에서 널리 사용된다. 허용되는 왜곡의 수량은 애플리케이션에 따라 다르다. 예를 들어, 특정 소비자 비디오 스트리밍 애플리케이션의 사용자는 영화 또는 텔레비전 방송 애플리케이션의 사용자보다 더 높은 왜곡을 허용할 수 있다. 특정 코딩 알고리즘에 의해 달성 가능한 압축 비율은 다양한 왜곡 허용 오차를 반영하도록 선택되거나 조정될 수 있다: 더 높은 허용 왜곡은 일반적으로 더 높은 손실과 더 높은 압축 비율을 생성하는 코딩 알고리즘을 허용한다. 비디오 인코더 및 디코더는 예를 들어 모션 보상, 푸리에 변환, 양자화, 및 엔트로피 코딩을 포함하는 여러 광범위한 카테고리 및 단계로부터의 기술을 이용할 수 있다. 비디오 코덱 기술은 인트라 코딩으로 알려진 기술을 포함할 수 있다. 인트라 코딩에서, 샘플 값은 이전에 재구성된 참조 픽처로부터의 샘플 또는 다른 데이터에 대한 참조 없이 표현된다. 일부 비디오 코덱에서, 픽처는 공간적으로 샘플 블록으로 세분화된다. 샘플의 모든 블록이 인트라 모드에서 코딩되는 경우, 그 픽처는 인트라 픽처로서 지칭될 수 있다. 인트라 픽처 및 독립 디코더 리프레시 픽처와 같은 파생물은 디코더 상태를 재설정하는 데 사용될 수 있으므로, 코딩된 비디오 비트스트림 및 비디오 세션의 제1 픽처 또는 정지 이미지로 사용될 수 있다. 인트라 예측 후의 블록의 샘플은 주파수 도메인으로 변환될 수 있고, 그렇게 생성된 변환 계수는 엔트로피 코딩 전에 양자화될 수 있다. 인트라 예측은 사전 변환 도메인에서 샘플 값을 최소화하는 기술을 나타낸다. 일부 경우에, 변환 후의 DC 값이 더 작고, AC 계수가 더 작을수록 엔트로피 코딩 후 블록을 나타내기 위해 주어진 양자화 단계 크기에서 필요한 비트가 더 적다. 예를 들어 MPEG-2 생성 코딩 기술로부터 알려진 것과 같은 전통적인 인트라 코딩은 인트라 예측을 사용하지 않는다. 그러나, 일부 새로운 비디오 압축 기술은, 예를 들어, 주변의 샘플 데이터 및/또는 공간적으로 이웃하는 인코딩 및/또는 디코딩 중에 획득되고 인트라 코딩되거나 또는 디코딩되는 데이터 블록을 디코딩 순서에서 선행하는 메타데이터에 기초하여 블록의 코딩/디코딩을 시도하는 기술을 포함한다. 이러한 기술은 이후 "인트라 예측" 기술이라고 한다. 적어도 일부 경우에, 인트라 예측은 다른 참조 픽처가 아닌 재구성 중인 현재 픽처의 참조 데이터만을 사용한다는 점에 유의한다. 인트라 예측에는 많은 상이한 형태가 있을 수 있다. 주어진 비디오 코딩 기술에서 이러한 기술 중 하나 이상이 사용될 수 있는 경우, 사용 중인 기술은 인트라 예측 모드로서 지칭될 수 있다. 하나 이상의 인트라 예측 모드는 특정 코덱으로 제공될 수 있다. 특정 경우에, 모드는 서브 모드를 가질 수 있고, 및/또는 다양한 파라미터와 연관될 수 있으며, 모드/서브모드 정보 및 비디오 블록에 대한 인트라 코딩 파라미터는 모드 코드워드에 개별적으로 또는 집합적으로 포함되어 코딩될 수 있다. 주어진 모드, 서브모드 및/또는 파라미터 조합에 사용할 코드워드는 인트라 예측을 통해 코딩 효율 이득에 영향을 미칠 수 있으며, 코드워드를 비트스트림으로 변환하는 데 사용되는 엔트로피 코딩 기술도 마찬가지이다. 인트라 예측의 특정 모드는 H.264에 도입되었고, H.265에서 개선되었으며, 공동 탐사 모델(Joint Explosion Model, JEM), 다목적 비디오 코딩(versatile video coding, VVC) 및 벤치마크 세트(benchmark set, BMS)와 같은 새로운 코딩 기술에서 더욱 개선되었다. 일반적으로, 인트라 예측의 경우, 예측기 블록은 사용 가능하게 된 이웃 샘플 값을 사용하여 형성될 수 있다. 예를 들어, 특정 방향 및/또는 라인을 따라 이웃 샘플의 특정 세트의 이용 가능한 값이 예측기 블록으로 복사될 수 있다. 사용 방향에 대한 참조는 비트스트림에서 코딩되거나 자체적으로 예측될 수 있다. 도 1a를 참조하면, 우측 하부에 묘사된 것은 H.265의 33개의 가능한 인트라 예측기 방향(H.265에서 규정된 35개 인트라 모드의 알려진 33개 각도 모드에 대응함)에서 규정된 9개의 예측기 방향의 서브 세트이다. 화살표가 수렴하는 지점(101)은 예측 중인 샘플을 나타낸다. 화살표는 101에서 샘플을 예측하는 데 사용되는 이웃 샘플로부터의 방향을 나타낸다. 예를 들어, 화살표(102)는 샘플(101)이 이웃 샘플 또는 수평 방향에서 45도 각도로 우측 상부에 있는 샘플들로부터 예측됨을 지시한다. 마찬가지로, 화살표(103)는 샘플(101)이 이웃 샘플 또는 수평 방향으로부터 22.5도 각도로 샘플(101)의 좌측 하부에 있는 샘플들로부터 예측됨을 지시한다. 여전히 도 1a를 참조하면, 좌측 상단에는 4 x 4 샘플의 정사각형 블록(104)이 도시되어 있다(대시 형태의 볼드체 선으로 지시됨). 정사각형 블록(104)은 각각 "S"로 라벨링되며, Y 차원에서의 위치(예를 들어, 행 인덱스) 및 X 차원에서의 위치(예를 들어, 열 인덱스)의 16개의 샘플을 포함한다. 예를 들어, 샘플 S21은 Y 차원에서 두 번째 샘플(상단으로부터)이고 X 차원에서 첫 번째(좌측으로부터) 샘플이다. 유사하게, 샘플 S44는 Y 및 X 차원 모두에서 블록(104)의 네 번째 샘플이다. 블록 크기가 4 x 4 샘플이므로, S44는 우측 하단에 있다. 유사한 번호 매기기 방식을 따르는 예시적인 참조 샘플이 추가로 표시된다. 참조 샘플은 블록(104)에 대해 R로 라벨링로 되며, Y 위치(예를 들어, 행 인덱스) 및 X 위치(열 인덱스)이다. H.264 및 H.265 모두에서, 재구성 중인 블록에 인접하게 이웃하는 예측 샘플이 사용된다. 블록(104)의 인트라 픽처 예측은 시그널링된 예측 방향에 따라 이웃 샘플로부터 참조 샘플 값을 복사함으로써 시작될 수 있다. 예를 들어, 코딩된 비디오 비트스트림이 이러한 블록(104)에 대해 화살표(102)의 예측 방향을 지시하는 시그널링을 포함하는 것으로 가정한다 ― 즉, 샘플은 예측 샘플 또는 수평 방향으로부터 45도 각도로 우측 상부에 있는 샘플들로부터 예측된다. 이러한 경우에, 샘플 S41, S32, S23, S14는 동일한 참조 샘플 R05로부터 예측된다. 그런 다음, 샘플 S44는 참조 샘플 R08로부터 예측된다. 특정 경우에, 다수의 참조 샘플의 값은 참조 샘플을 계산하기 위해, 특히 방향이 45도로 균등하게 나누어지지 않는 경우에, 예를 들어 보간을 통해 결합될 수 있다. 비디오 코딩 기술이 계속 발전함에 따라 가능한 방향의 개수가 증가하였다. H.264(2003년)에서, 예를 들어, 9개의 상이한 방향이 인트라 예측을 위해 이용 가능하다. H.265(2013년)에서는 33개로 증가했고, 본 개시의 당시, JEM/VVC/BMS는 최대 65개 방향을 지원할 수 있다. 가장 적절한 인트라 에측 방향을 식별하는 것을 돕기 위한 실험 연구가 수행되었으며, 엔트로피 코딩의 특정 기술은 방향에 대한 특정 비트 페널티를 허용하는 소수의 비트에서 이러한 가장 적절한 방향을 인코딩하는 데 사용될 수 있다. 또한, 방향 자체는 때때로 디코딩된 이웃 블록의 인트라 예측에서 사용된 이웃 방향으로부터 예측될 수 있다. 도 1b는 시간이 지남에 따라 개발된 다양한 인코딩 기술에서 증가하는 개수의 예측 방향을 도시하기 위