Search

KR-20260061540-A - 프레임 레벨 보간 예측 모드에 대한 양자화 파라미터들의 시그널링 및 도출을 위한 시스템들 및 방법들

KR20260061540AKR 20260061540 AKR20260061540 AKR 20260061540AKR-20260061540-A

Abstract

예시적인 비디오 코딩 방법은 복수의 인코딩된 픽처들에 대한 비디오 비트스트림을 수신하는 단계를 포함한다. 방법은, 프레임 보간을 사용하여, 복수의 인코딩된 픽처들 중 한 인코딩된 픽처에 대한 재구성 픽처를 도출하는 단계를 또한 포함한다. 방법은, 비디오 비트스트림 내의 시그널링된 지시자에 기초하여, 인코딩된 픽처에 대한 하나 이상의 양자화 파라미터가 비디오 비트스트림 내에서 시그널링되는지를 결정하는 단계를 더 포함한다. 시그널링된 지시자가 하나 이상의 양자화 파라미터가 비디오 비트스트림 내에서 시그널링되는 것을 지시할 때, 비디오 비트스트림으로부터 하나 이상의 양자화 파라미터가 파싱된다. 시그널링된 지시자가 하나 이상의 양자화 파라미터가 비디오 비트스트림 내에서 시그널링되지 않는 것을 지시할 때, 하나 이상의 양자화 파라미터가 디코더에서 도출된다.

Inventors

  • 자오 신
  • 류, 산

Assignees

  • 텐센트 아메리카 엘엘씨

Dates

Publication Date
20260506
Application Date
20240408
Priority Date
20240328

Claims (20)

  1. 메모리 및 하나 이상의 프로세서를 갖는 컴퓨팅 시스템에서 수행되는 비디오 디코딩 방법으로서, 복수의 인코딩된 픽처들을 포함하는 비디오 비트스트림을 수신하는 단계; 프레임 보간을 사용하여, 상기 복수의 인코딩된 픽처들 중 한 인코딩된 픽처에 대한 재구성 픽처를 도출하는 단계; 상기 비디오 비트스트림 내의 시그널링된 지시자에 기초하여, 상기 인코딩된 픽처에 대한 하나 이상의 양자화 파라미터가 상기 비디오 비트스트림 내에서 시그널링되는지를 결정하는 단계; 상기 시그널링된 지시자가 상기 하나 이상의 양자화 파라미터가 상기 비디오 비트스트림 내에서 시그널링되는 것을 지시할 때, 상기 비디오 비트스트림으로부터 상기 하나 이상의 양자화 파라미터를 파싱하는 단계; 및 상기 시그널링된 지시자가 상기 하나 이상의 양자화 파라미터가 상기 비디오 비트스트림 내에서 시그널링되지 않는 것을 지시할 때, 상기 하나 이상의 양자화 파라미터를 도출하는 단계 를 포함하는, 방법.
  2. 제1항에 있어서, 상기 하나 이상의 양자화 파라미터는 복수의 양자화 파라미터들을 포함하고, 상기 방법은, 상기 시그널링된 지시자가 상기 복수의 양자화 파라미터들의 서브세트만이 상기 비디오 비트스트림 내에서 시그널링되는 것을 지시할 때, 상기 비디오 비트스트림으로부터 상기 복수의 양자화 파라미터들의 제1 서브세트를 파싱하고 상기 복수의 양자화 파라미터들의 제2 서브세트를 도출하는 단계를 더 포함하는, 방법.
  3. 제1항에 있어서, 상기 시그널링된 지시자는 플래그 세트를 포함하고, 상기 플래그 세트의 각각의 플래그는 대응하는 컬러 성분에 대한 하나 이상의 각자의 양자화 파라미터가 상기 비디오 비트스트림으로부터 파싱될지 또는 상기 컴퓨팅 시스템에 의해 도출될지를 지시하는, 방법.
  4. 제1항에 있어서, 상기 하나 이상의 양자화 파라미터를 도출하는 단계는 상기 인코딩된 픽처에 대한 복수의 참조 픽처들로부터의 각자의 양자화 파라미터들의 가중 평균을 사용하는 단계를 포함하는, 방법.
  5. 제4항에 있어서, 상기 복수의 참조 픽처들 중 선택된 참조 픽처에 대해 0이 아닌 가중치가 적용되고, 상기 복수의 참조 픽처들 중 선택되지 않은 참조 픽처에 대해 0 가중치가 적용되는, 방법.
  6. 제1항에 있어서, 상기 하나 이상의 양자화 파라미터를 도출하는 단계는 상기 인코딩된 픽처에 대한 복수의 참조 픽처들의 각자의 양자화 파라미터들 중에서 최솟값 또는 최댓값을 선택하는 단계를 포함하는, 방법.
  7. 제1항에 있어서, 상기 하나 이상의 양자화 파라미터를 도출하는 단계는 상기 인코딩된 픽처에 대한 하나 이상의 참조 픽처 내의 복수의 블록들로부터의 각자의 양자화 파라미터들의 가중 평균을 사용하는 단계를 포함하는, 방법.
  8. 제7항에 있어서, 상기 복수의 블록들은 상기 하나 이상의 참조 픽처 내의 미리 정의된 좌표들에 있는 블록들을 포함하는, 방법.
  9. 제1항에 있어서, 상기 하나 이상의 양자화 파라미터를 도출하는 단계는 상기 인코딩된 픽처에 대한 하나 이상의 참조 픽처 내의 복수의 블록들로부터의 각자의 양자화 파라미터들의 가중 합을 사용하는 단계를 포함하는, 방법.
  10. 제1항에 있어서, 상기 하나 이상의 양자화 파라미터를 도출하는 단계는 상기 인코딩된 픽처에 대한 하나 이상의 참조 픽처 내의 복수의 블록들의 각자의 양자화 파라미터들 중에서 최솟값 또는 최댓값을 선택하는 단계를 포함하는, 방법.
  11. 제1항에 있어서, 상기 하나 이상의 양자화 파라미터를 도출하는 단계는 하나 이상의 블록 레벨 양자화 파라미터를 도출하는 단계를 포함하는, 방법.
  12. 제11항에 있어서, 상기 하나 이상의 블록 레벨 양자화 파라미터를 도출하는 단계는 상기 인코딩된 픽처에 대한 복수의 참조 블록들로부터의 각자의 양자화 파라미터들을 사용하는 단계를 포함하는, 방법.
  13. 제1항에 있어서, 상기 시그널링된 지시자는 하이 레벨 신택스 요소를 포함하는, 방법.
  14. 컴퓨팅 시스템으로서, 제어 회로부; 메모리; 및 상기 메모리에 저장되고 상기 제어 회로부에 의해 실행되도록 구성된 하나 이상의 명령어 세트를 포함하고, 상기 하나 이상의 명령어 세트는: 복수의 픽처들을 포함하는 비디오 데이터를 수신하기 위한 명령어들; 제1 타입의 프레임 보간에 따라 상기 복수의 픽처들 중 제1 픽처를 인코딩하기 위한 명령어들; 상기 인코딩된 제1 픽처에 대한 하나 이상의 양자화 파라미터가 비디오 비트스트림 내에서 시그널링될지를 결정하기 위한 명령어들; 상기 인코딩된 제1 픽처를 상기 비디오 비트스트림을 통해 송신하기 위한 명령어들; 및 상기 인코딩된 제1 픽처에 대한 상기 하나 이상의 양자화 파라미터가 상기 비디오 비트스트림 내에서 시그널링되는지를 지시하는 제1 지시자를, 상기 비디오 비트스트림을 통해, 시그널링하기 위한 명령어들을 포함하는, 시스템.
  15. 제14항에 있어서, 상기 하나 이상의 양자화 파라미터는 복수의 양자화 파라미터들을 포함하고, 상기 제1 지시자는 상기 복수의 양자화 파라미터들의 서브세트만이 시그널링되는 것을 지시하는, 시스템.
  16. 제14항에 있어서, 상기 제1 지시자는 플래그 세트를 포함하고, 상기 플래그 세트의 각각의 플래그는 대응하는 컬러 성분에 대한 하나 이상의 각자의 양자화 파라미터가 상기 비디오 비트스트림으로부터 파싱될지 또는 상기 컴퓨팅 시스템에 의해 도출될지를 지시하는, 시스템.
  17. 제14항에 있어서, 상기 인코딩된 픽처에 대한 복수의 참조 픽처들로부터의 각자의 양자화 파라미터들의 가중 평균 또는 가중 합을 사용해서 상기 하나 이상의 양자화 파라미터를 도출하는 것을 더 포함하는, 시스템.
  18. 제17항에 있어서, 상기 복수의 참조 픽처들 중 선택된 참조 픽처에 대해 0이 아닌 가중치가 할당되고, 상기 복수의 참조 픽처들 중 선택되지 않은 참조 픽처에 대해 0 가중치가 할당되는, 시스템.
  19. 제14항에 있어서, 상기 인코딩된 픽처에 대한 복수의 참조 픽처들의 각자의 양자화 파라미터들 중에서 최솟값 또는 최댓값을 선택함으로써 상기 하나 이상의 양자화 파라미터를 도출하는 것을 더 포함하는, 시스템.
  20. 제어 회로부 및 메모리를 갖는 컴퓨팅 디바이스에 의해 실행되도록 구성된 하나 이상의 명령어 세트를 저장한 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 명령어 세트는: 소스 비디오 시퀀스를 획득하기 위한 명령어들; 및 상기 소스 비디오 시퀀스와 시각적 미디어 데이터 비트스트림 간의 변환을 수행하기 위한 명령어들을 포함하고, 상기 비트스트림은 제1 타입의 프레임 보간에 따라 인코딩되는 제1 인코딩된 픽처를 포함하는 복수의 인코딩된 픽처들, 및 상기 제1 인코딩된 픽처에 대한 하나 이상의 양자화 파라미터가 상기 비트스트림 내에서 시그널링되는지를 지시하는 제1 지시자를 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.

Description

프레임 레벨 보간 예측 모드에 대한 양자화 파라미터들의 시그널링 및 도출을 위한 시스템들 및 방법들 관련 출원들 본 출원은 2023년 11월 7일자로 출원된, 발명의 명칭이 "Signaling and Derivation of Quantization Parameters for Frame-Level Interpolation Prediction Mode"인 미국 가특허 출원 제63/596,907호에 대한 우선권을 주장하고, 2024년 3월 28일자로 출원된, 발명의 명칭이 "Systems and Methods for Signaling and Derivation of Quantization Parameters for a Frame-Level Interpolation Prediction Mode"인 미국 특허 출원 제18/620,927호의 계속 출원이며 그에 대한 우선권을 주장한다. 기술 분야 개시된 실시예들은 일반적으로 비디오 코딩에 관한 것이며, 프레임 레벨 보간 예측 모드들을 구현하고 그러한 모드들에 대한 양자화 파라미터들을 시그널링 및/또는 도출하기 위한 시스템들 및 방법들을 포함하지만 이에 제한되지 않는다. 디지털 비디오는 디지털 텔레비전, 랩톱 또는 데스크톱 컴퓨터, 태블릿 컴퓨터, 디지털 카메라, 디지털 기록 디바이스, 디지털 미디어 플레이어, 비디오 게이밍 콘솔, 스마트폰, 비디오 원격 회의 디바이스, 비디오 스트리밍 디바이스 등과 같은 다양한 전자 디바이스들에 의해 지원된다. 전자 디바이스들은 통신 네트워크를 통해 디지털 비디오 데이터를 송신 및 수신하거나 다른 방식으로 통신하고/하거나 디지털 비디오 데이터를 저장 디바이스에 저장한다. 통신 네트워크의 제한된 대역폭 용량 및 저장 디바이스의 제한된 메모리 리소스들로 인해, 비디오 코딩은 통신되거나 저장되기 전에 하나 이상의 비디오 코딩 표준에 따라 비디오 데이터를 압축하는 데 사용될 수 있다. 비디오 코딩은 클라우드 서비스를 제공하는 전자/클라이언트 디바이스 또는 서버 상의 하드웨어 및/또는 소프트웨어에 의해 수행될 수 있다. 비디오 코딩은 일반적으로 비디오 데이터에 내재된 중복성을 이용하는 예측 방법들(예를 들면, 인터-예측, 인트라-예측 등)을 활용한다. 비디오 코딩은 비디오 품질의 저하를 방지하거나 최소화하면서 더 낮은 비트 레이트를 사용하는 형태로 비디오 데이터를 압축하는 것을 목적으로 한다. 다수의 비디오 코덱 표준들이 개발되었다. 예를 들어, 고효율 비디오 코딩(HEVC/H.265)은 MPEG-H 프로젝트의 일부로서 설계된 비디오 압축 표준이다. ITU-T 및 ISO/IEC는 2013년(버전 1), 2014년(버전 2), 2015년(버전 3), 및 2016년(버전 4)에 HEVC/H.265 표준을 발표하였다. VVC/H.266(Versatile Video Coding)은 HEVC의 후속으로서 의도된 비디오 압축 표준이다. ITU-T 및 ISO/IEC는 2020년(버전 1) 및 2022년(버전 2)에 VVC/H.266 표준을 발표하였다. AOMedia Video 1(AV1)은 HEVC의 대안으로서 설계된 개방형 비디오 코딩 포맷이다. 2019년 1월 8일에, 사양의 정오표(Errata) 1을 갖는 검증된 버전 1.0.0이 공개되었다. 본 개시내용은, 무엇보다도, 비디오(이미지) 압축을 위한 방법들의 세트를 설명하며, 더 구체적으로는 인-루프 필터링에 관련된다. 일부 실시예들은 (예를 들면, 프레임 레벨 보간 모드가 활성인지에 기초하여) 양자화 파라미터들을 조건부로 시그널링 및/또는 도출하는 것을 포함한다. 양자화 파라미터들을 조건부로 시그널링하는 것은 양자화 파라미터들이 항상 (예를 들면, 디코더에서) 도출되는 시스템에 비해 정확성을 개선시킬 수 있고, 양자화 파라미터들이 항상 (예를 들면, 비디오 비트스트림 내에서) 시그널링되는 시스템에 비해 대역폭 효율을 개선시킬 수 있다(시그널링되는 비트 수를 감소시킴). 일부 실시예들에 따르면, 비디오 디코딩 방법은: (i) 복수의 인코딩된 픽처들을 포함하는 비디오 비트스트림을 수신하는 단계; (ii) 프레임 보간을 사용하여, 복수의 인코딩된 픽처들 중 한 인코딩된 픽처에 대한 재구성 픽처를 도출하는 단계; (iii) 비디오 비트스트림 내의 시그널링된 지시자에 기초하여, 인코딩된 픽처에 대한 하나 이상의 양자화 파라미터가 비디오 비트스트림 내에서 시그널링되는지를 결정하는 단계; (iv) 시그널링된 지시자가 하나 이상의 양자화 파라미터가 상기 비디오 비트스트림 내에서 시그널링되는 것을 지시할 때(예를 들면, 제1 값을 가질 때), 비디오 비트스트림으로부터 하나 이상의 양자화 파라미터를 파싱하는 단계; 및 (v) 시그널링된 지시자가 하나 이상의 양자화 파라미터가 비디오 비트스트림 내에서 시그널링되지 않는 것을 지시할 때(예를 들면, 제2 값을 가질 때), 하나 이상의 양자화 파라미터를 도출하는 단계를 포함한다. 일부 실시예들에 따르면, 비디오 디코딩 방법은: (i) 복수의 인코딩된 픽처들을 포함하는 비디오 비트스트림을 수신하는 단계; (ii) 프레임 보간을 사용하여, 복수의 인코딩된 픽처들 중 한 인코딩된 픽처에 대한 재구성 픽처를 도출하는 단계; (iii) 비디오 비트스트림 내의 시그널링된 지시자에 기초하여, 인코딩된 픽처에 대한 양자화 파라미터에 대한 델타 값이 비디오 비트스트림 내에서 시그널링되는지를 결정하는 단계; (iv) 시그널링된 지시자가 제1 값을 가질 때, 비디오 비트스트림으로부터 양자화 파라미터에 대한 델타 값을 파싱하는 단계 - 델타 값은 기준 양자화 파라미터의 값과 양자화 파라미터의 값 사이의 차이를 나타냄 -; 및 (v) 시그널링된 지시자가 제2 값을 가질 때, 델타 값을 파싱하지 않고 하나 이상의 양자화 파라미터를 도출하는 단계를 포함한다. 일부 실시예들에 따르면, 비디오 인코딩 방법은 (i) 복수의 픽처들을 포함하는 비디오 데이터를 수신하는 단계; (ii) 제1 타입의 프레임 보간에 따라 복수의 픽처들 중 제1 픽처를 인코딩하는 단계; (iii) 인코딩된 제1 픽처에 대한 하나 이상의 양자화 파라미터가 비디오 비트스트림 내에서 시그널링될지를 결정하는 단계; (iv) 인코딩된 제1 픽처를 비디오 비트스트림을 통해 송신하는 단계; 및 (v) 인코딩된 제1 픽처에 대한 하나 이상의 양자화 파라미터가 비디오 비트스트림 내에서 시그널링되는지를 지시하는 제1 지시자를, 비디오 비트스트림을 통해, 시그널링하는 단계를 포함한다. 일부 실시예들에 따르면, 시각적 미디어 데이터를 처리하는 방법은: (i) 소스 비디오 시퀀스를 획득하는 단계; 및 (ii) 소스 비디오 시퀀스와 시각적 미디어 데이터 비트스트림 간의 변환을 수행하는 단계를 포함하고, 여기서 비트스트림은: (a) 제1 타입의 프레임 보간에 따라 인코딩되는 제1 인코딩된 픽처를 포함하는 복수의 인코딩된 픽처들; 및 (b) 제1 인코딩된 픽처에 대한 하나 이상의 양자화 파라미터가 비디오 비트스트림 내에서 시그널링되는지를 지시하는 제1 지시자를 포함한다. 일부 실시예들에 따르면, 스트리밍 시스템, 서버 시스템, 개인용 컴퓨터 시스템 또는 다른 전자 디바이스와 같은 컴퓨팅 시스템이 제공된다. 컴퓨팅 시스템은 제어 회로부 및 하나 이상의 명령어 세트를 저장한 메모리를 포함한다. 하나 이상의 명령어 세트는 본 명세서에 설명된 방법들 중 어느 한 방법을 수행하기 위한 명령어들을 포함한다. 일부 실시예들에서, 컴퓨팅 시스템은 인코더 컴포넌트 및 디코더 컴포넌트(예를 들면, 트랜스코더)를 포함한다. 일부 실시예들에 따르면, 비일시적 컴퓨터 판독가능 저장 매체가 제공된다. 비일시적 컴퓨터 판독가능 저장 매체는 컴퓨팅 시스템에 의해 실행하기 위한 하나 이상의 명령어 세트를 저장한다. 하나 이상의 명령어 세트는 본 명세서에 설명된 방법들 중 어느 한 방법을 수행하기 위한 명령어들을 포함한다. 따라서, 비디오를 인코딩 및 디코딩하기 위한 방법들과 함께 디바이스들 및 시스템들이 개시된다. 그러한 방법들, 디바이스들, 및 시스템들은 비디오 인코딩/디코딩을 위한 종래의 방법들, 디바이스들, 및 시스템들을 보완하거나 대체할 수 있다. 본 명세서에 설명된 특징들 및 장점들은 반드시 모든 것을 포함하는 것은 아니며, 특히, 일부 추가적인 특징들 및 장점들은 본 개시내용에 제공된 도면들, 명세서 및 청구항들을 고려하여 본 기술분야의 통상의 기술자에게 명백할 것이다. 더욱이, 본 명세서에서 사용된 언어(language)는 주로 가독성 및 교육적 목적들을 위해 선택되었고, 본 명세서에 설명된 주제를 규정(delineate)하거나 한정(circumscribe)하기 위해 반드시 선택된 것은 아님에 유의해야 한다. 본 개시내용이 보다 상세히 이해될 수 있도록, 보다 구체적인 설명이 다양한 실시예들의 특징들을 참조하여 이루어질 수 있으며, 그 중 일부가 첨부 도면들에 예시되어 있다. 그러나, 본 기술분야의 통상의 기술자가 본 개시내용을 읽을 때 이해할 것인 바와 같이 설명이 다른 유효한 특징들을 허용할 수 있기 때문에, 첨부 도면들은 본 개시내용의 관련 특징들을 예시할 뿐이며, 따라서 반드시 제한적인 것으로 간주되어서는 안 된다. 도 1은 일부 실시예들에 따른 예시적인 통신 시스템을 예시하는 블록도이다. 도 2a는 일부 실시예들에 따른 인코더 컴포넌트의 예시적인 요소들을 예시하는 블록도이다. 도 2b는 일부 실시예들에 따른 디코더 컴포넌트의 예시적인 요소들을 예시하는 블록도이다. 도 3은 일부 실시예들에 따른 예시적인 서버 시스템을 예시하는 블록도이다. 도 4a 내지 도 4c는 일부 실시예들에 따른 예시적인 예측 블록들, 잔차 블록들 및 재구성된 블록들을 예시한다. 도 5a는 일부 실시예들에 따른 예시적인 시간 보간 예측(temporal interpolation prediction, TIP) 모드를 예시한다. 도 5b는 일부 실시예들에 따른 예시적인 인-루프 필터링(in-loop filtering) 스테이지들을 예시한다. 도 6a는 일부 실시예들에 따른 예시적인 비디오 디코딩 프로세스를 예시한다. 도 6b는 일부 실시예들에 따른 예시적인 비디오 인코딩 프로세스를 예시한다. 통상적인 관행에 따라, 도면들에 예시된 다