Search

KR-20260061483-A - SIGNALING OF REFERENCE PICTURE RESAMPLING WITH RESAMPLING PICTURE SIZE INDICATION IN VIDEO BITSTREAM

KR20260061483AKR 20260061483 AKR20260061483 AKR 20260061483AKR-20260061483-A

Abstract

적어도 하나의 프로세서를 사용하여 인코딩된 비디오 비트스트림을 디코딩하는 방법, 디바이스, 및 컴퓨터 판독가능 매체가 제공되며, 이는 적합성 윈도우가 현재 픽처에 존재한다는 것을 표시하는 제1 플래그를 획득하는 것; 적합성 윈도우가 존재한다는 것을 표시하는 제1 플래그에 기초하여, 적합성 윈도우가 참조 픽처 리샘플링에 사용되는지를 표시하는 제2 플래그를 획득하는 것; 적합성 윈도우가 참조 픽처 리샘플링에 사용된다는 것을 표시하는 제2 플래그에 기초하여, 현재 픽처와 참조 픽처 사이의 리샘플링 비율을 적합성 윈도우의 적합성 윈도우 크기에 기초하여 결정하는 것; 적합성 윈도우가 참조 픽처 리샘플링에 사용되지 않는다는 것을 표시하는 제2 플래그에 기초하여, 리샘플링 비율을 리샘플링 픽처 크기에 기초하여 결정하는 것; 및 리샘플링 비율을 사용하여 현재 픽처에 대해 참조 픽처 리샘플링을 수행하는 것을 포함한다.

Inventors

  • 최, 병두
  • 웽거, 스테판
  • 류, 산

Assignees

  • 텐센트 아메리카 엘엘씨

Dates

Publication Date
20260506
Application Date
20200910
Priority Date
20200902

Claims (7)

  1. 적어도 하나의 프로세서를 사용하여 인코딩된 비디오 비트스트림을 디코딩하는 방법으로서, 현재 픽처에 적합성 윈도우(conformance window)가 존재한다는 것을 나타내는 제1 신택스 요소를 픽처 파라미터 세트(picture parameter set; PPS)에서 획득하는 단계; 상기 제1 신택스 요소가 상기 적합성 윈도우가 존재한다는 것을 나타내는 경우, 상기 PPS에서 적합성 윈도우 파라미터들을 획득하는 단계; 상기 적합성 윈도우 파라미터들이 참조 픽처 리샘플링(reference picture resampling; RPR)에 사용된다는 것을 나타내는 제2 신택스 요소를 획득하고, 상기 제2 신택스 요소의 값을 파싱하는 단계; 상기 제2 신택스 요소가 상기 적합성 윈도우가 상기 RPR에 사용된다는 것을 나타내는 경우, 상기 현재 픽처 및 참조 픽처의 상기 적합성 윈도우의 적합성 윈도우 크기에 기초하여, 상기 현재 픽처와 상기 참조 픽처 사이의 리샘플링 비율을 결정하는 단계; 상기 제2 신택스 요소가 상기 적합성 윈도우가 상기 RPR에 사용되지 않는다는 것을 나타내는 경우, 상기 참조 픽처의 크기와 상기 현재 픽처의 리샘플링 픽처 크기에 기초하여 상기 리샘플링 비율을 결정하는 단계; 및 상기 리샘플링 비율을 사용하여 상기 현재 픽처에 대해 상기 RPR을 수행하는 단계 를 포함하고, 상기 리샘플링 픽처 크기는, 리샘플링 픽처 크기 파라미터를 사용하여, 리샘플링한 후의 상기 참조 픽처의 크기에 기초하여 결정되고, 상기 리샘플링 픽처 크기 파라미터는, 명시적으로 시그널링되는 경우, 리샘플링한 후의 상기 참조 픽처에 대한 상기 리샘플링 픽처의 상부, 하부, 좌측, 및 우측 오프셋들을 나타내는, 방법.
  2. 제1항에 있어서, 상기 적합성 윈도우 크기는 상기 현재 픽처의 경계로부터의 적어도 하나의 오프셋 거리에 기초하여 결정되는, 방법.
  3. 제1항에 있어서, 상기 리샘플링 픽처 크기 파라미터가 명시적으로 시그널링되지 않는 경우, 상기 상부, 하부, 좌측, 및 우측 오프셋들은 상기 현재 픽처에 대한 상기 적합성 윈도우의 상부, 하부, 좌측, 및 우측 오프셋들과 각각 동일하게 설정되는, 방법.
  4. 적어도 하나의 프로세서를 사용하여 비디오 비트스트림을 인코딩하는 방법으로서, 현재 픽처에 적합성 윈도우가 존재한다는 것을 나타내는 제1 신택스 요소를 픽처 파라미터 세트(PPS)에서 생성하는 단계; 상기 제1 신택스 요소가 상기 적합성 윈도우가 존재한다는 것을 나타내는 경우, 상기 PPS에서 적합성 윈도우 파라미터들을 생성하는 단계; 상기 적합성 윈도우 파라미터들이 참조 픽처 리샘플링(RPR)에 사용된다는 것을 나타내는 제2 신택스 요소를 생성하고, 상기 제2 신택스 요소의 값을 설정하는 단계; 상기 제2 신택스 요소가 상기 적합성 윈도우가 상기 RPR에 사용된다는 것을 나타내는 경우, 상기 현재 픽처 및 참조 픽처의 상기 적합성 윈도우의 적합성 윈도우 크기에 기초하여, 상기 현재 픽처와 상기 참조 픽처 사이의 리샘플링 비율을 결정하는 단계; 상기 제2 신택스 요소가 상기 적합성 윈도우가 상기 RPR에 사용되지 않는다는 것을 나타내는 경우, 상기 참조 픽처의 크기와 상기 현재 픽처의 리샘플링 픽처 크기에 기초하여 상기 리샘플링 비율을 결정하는 단계; 및 상기 리샘플링 비율을 사용하여 상기 현재 픽처에 대해 상기 RPR을 수행하는 단계 를 포함하고, 상기 리샘플링 픽처 크기는, 리샘플링 픽처 크기 파라미터를 사용하여, 리샘플링한 후의 상기 참조 픽처의 크기에 기초하여 결정되고, 상기 리샘플링 픽처 크기 파라미터는, 명시적으로 시그널링되는 경우, 리샘플링한 후의 상기 참조 픽처에 대한 상기 리샘플링 픽처의 상부, 하부, 좌측, 및 우측 오프셋들을 나타내는, 방법.
  5. 적어도 하나의 프로세서를 사용하여 비디오 비트스트림을 인코딩하고, 상기 인코딩된 비트스트림을 송신하거나 저장 매체에 저장하는 방법으로서, 현재 픽처에 적합성 윈도우가 존재한다는 것을 나타내는 제1 신택스 요소를 픽처 파라미터 세트(PPS)에서 생성하는 단계; 상기 제1 신택스 요소가 상기 적합성 윈도우가 존재한다는 것을 나타내는 경우, 상기 PPS에서 적합성 윈도우 파라미터들을 생성하는 단계; 상기 적합성 윈도우 파라미터들이 참조 픽처 리샘플링(RPR)에 사용된다는 것을 나타내는 제2 신택스 요소를 생성하고, 상기 제2 신택스 요소의 값을 설정하는 단계; 상기 제2 신택스 요소가 상기 적합성 윈도우가 상기 RPR에 사용된다는 것을 나타내는 경우, 상기 현재 픽처 및 참조 픽처의 상기 적합성 윈도우의 적합성 윈도우 크기에 기초하여, 상기 현재 픽처와 상기 참조 픽처 사이의 리샘플링 비율을 결정하는 단계; 상기 제2 신택스 요소가 상기 적합성 윈도우가 상기 RPR에 사용되지 않는다는 것을 나타내는 경우, 상기 참조 픽처의 크기와 상기 현재 픽처의 리샘플링 픽처 크기에 기초하여 상기 리샘플링 비율을 결정하는 단계; 및 상기 리샘플링 비율을 사용하여 상기 현재 픽처에 대해 상기 RPR을 수행하는 단계 를 포함하고, 상기 리샘플링 픽처 크기는, 리샘플링 픽처 크기 파라미터를 사용하여, 리샘플링한 후의 상기 참조 픽처의 크기에 기초하여 결정되고, 상기 리샘플링 픽처 크기 파라미터는, 명시적으로 시그널링되는 경우, 리샘플링한 후의 상기 참조 픽처에 대한 상기 리샘플링 픽처의 상부, 하부, 좌측, 및 우측 오프셋들을 나타내는, 방법.
  6. 프로그램 코드를 저장하도록 구성되는 적어도 하나의 메모리; 및 제1항 내지 제5항 중 어느 한 항의 방법을 수행하기 위해 상기 프로그램 코드를 판독하고 상기 프로그램 코드에 의해 명령된 바와 같이 동작하도록 구성되는 적어도 하나의 프로세서 를 포함하는, 장치.
  7. 명령어들이 저장된 비일시적 컴퓨터 판독가능 매체로서, 상기 명령어들은 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금 제1항 내지 제5항 중 어느 한 항의 방법을 수행하게 하는, 비일시적 컴퓨터 판독가능 매체.

Description

비디오 비트스트림에서 리샘플링 픽처 크기 표시를 갖는 참조 픽처 리샘플링의 시그널링{SIGNALING OF REFERENCE PICTURE RESAMPLING WITH RESAMPLING PICTURE SIZE INDICATION IN VIDEO BITSTREAM} 관련 출원에 대한 교차 참조 본 출원은 2019년 9월 20일에 출원된 미국 가출원 제62/903,639호, 2019년 9월 24일에 출원된 미국 가출원 제62/905,319호, 및 2020년 9월 2일에 출원된 미국 특허 출원 제17/010,163호에 대한 우선권을 주장하며, 그 전문이 본 명세서에 포함된다. 분야 개시된 주제는 비디오 코딩 및 디코딩에 관한 것이고, 보다 구체적으로는, 리샘플링 픽처 크기 표시를 갖는 참조 픽처 리샘플링의 시그널링에 관한 것이다. 모션 보상(motion compensation)을 동반한 인터-픽처 예측(inter-picture prediction)을 사용하는 비디오 코딩 및 디코딩이 알려져 왔다. 압축되지 않은 디지털 비디오는 일련의 픽처들로 구성될 수 있고, 각각의 픽처는, 예를 들어, 1920x1080 루미넌스 샘플들 및 연관된 크로미넌스 샘플들의 공간적 차원(spatial dimension)을 갖는다. 이 일련의 픽처들은, 예를 들어, 초당 60 픽처 또는 60Hz의, 고정 또는 가변 픽처 레이트(비공식적으로 프레임 레이트로도 알려져 있음)를 가질 수 있다. 압축되지 않은 비디오는 상당한 비트레이트 요건들을 갖는다. 예를 들어, 샘플당 8 비트에서의 1080p60 4:2:0 비디오(60Hz 프레임 레이트에서의 1920x1080 루미넌스 샘플 해상도)는 1.5 Gbit/s에 근접한 대역폭을 요구한다. 1 시간 분량의 이러한 비디오는 600 기가바이트를 초과하는 저장 공간을 필요로 한다. 비디오 코딩 및 디코딩의 한 가지 목적은, 압축을 통한, 입력 비디오 신호에서의 중복성(redundancy)의 감소일 수 있다. 압축은 앞서 설명한 대역폭 또는 저장 공간 요건들을, 일부 경우들에서는, 2 자릿수 이상 감소시키는 데 도움이 될 수 있다. 무손실 및 손실 압축 양자 모두뿐만 아니라 이들의 조합이 이용될 수 있다. 무손실 압축은 압축된 원래 신호로부터 원래 신호의 정확한 사본이 재구성될 수 있는 기법들을 지칭한다. 손실 압축을 사용할 때, 재구성된 신호는 원래 신호와 동일하지 않을 수 있지만, 원래 신호와 재구성된 신호 사이의 왜곡은 재구성된 신호가 의도된 응용에 유용할 정도로 충분히 작다. 비디오의 경우, 손실 압축이 널리 이용된다. 용인되는 왜곡의 양은 응용에 의존하며; 예를 들어, 특정 소비자 스트리밍 응용들의 사용자들은 텔레비전 기여 응용들(television contribution applications)의 사용자들보다 더 높은 왜곡을 용인할 수 있다. 달성가능한 압축비는 더 높은 허용가능한/용인가능한 왜곡이 더 높은 압축비를 산출할 수 있다는 사실을 반영할 수 있다. 비디오 인코더 및 디코더는, 예를 들어, 모션 보상, 변환, 양자화, 및 엔트로피 코딩을 포함한, 몇가지 광범위한 카테고리로부터의 기법들을 이용할 수 있으며, 이들 중 일부는 아래에서 소개될 것이다. 역사적으로, 비디오 인코더들 및 디코더들은, 대부분의 경우에, 코딩된 비디오 시퀀스(coded video sequence, CVS), 픽처 그룹(Group of Pictures, GOP), 또는 유사한 멀티-픽처 타임프레임(multi-picture timeframe)에 대해 정의되고 일정하게 유지된 주어진 픽처 크기에서 동작하는 경향이 있었다. 예를 들어, MPEG-2에서, 시스템 설계들은 장면의 액티비티와 같은 팩터들에 따라, 그러나 I 픽처들에서만, 따라서 통상적으로 GOP에 대해 수평 해상도(및 그에 따라 픽처 크기)를 변경하는 것으로 알려져 있다. CVS 내의 상이한 해상도의 사용을 위한 참조 픽처들의 리샘플링은, 예를 들어, ITU-T Rec. H.263 Annex P로부터 알려져 있다. 그러나, 여기서 픽처 크기는 변경되지 않고, 참조 픽처들만이 리샘플링되므로, 잠재적으로 픽처 캔버스의 부분들만이 사용되거나(다운샘플링의 경우), 또는 장면의 부분들만이 캡처된다(업샘플링의 경우). 또한, H.263 Annex Q는 (각각의 차원에서) 2배만큼 상향 또는 하향으로 개별 매크로블록의 리샘플링을 허용한다. 다시, 픽처 크기는 동일하게 유지된다. 매크로블록의 크기는 H.263에서 고정되므로, 시그널링될 필요가 없다. 예측된 픽처들에서의 픽처 크기의 변경들은 현대의 비디오 코딩에서 더 주류가 되었다. 예를 들어, VP9는 참조 픽처 리샘플링 및 전체 픽처에 대한 해상도 변경을 허용한다. 유사하게, VVC에 대해 이루어진 특정 제안들(예를 들어, 그 전체가 본 명세서에 포함된 [Hendry, et. al, "On adaptive resolution change (ARC) for VVC", Joint Video Team document JVET-M0135-v1, Jan 9-19, 2019]를 포함함)은 전체 참조 픽처들의 상이한 - 더 높거나 더 낮은 - 해상도로의 리샘플링을 허용한다. 그 문헌에서는, 상이한 후보 해상도들이 시퀀스 파라미터 세트에서 코딩되고 픽처 파라미터 세트에서 픽처별 신택스 요소들(per-picture syntax elements)에 의해 참조되도록 제안된다. 일 실시예에서, 적어도 하나의 프로세서를 사용하여 인코딩된 비디오 비트스트림을 디코딩하는 방법이 제공되며, 이 방법은, 적합성 윈도우(conformance window)가 현재 픽처에 존재한다는 것을 표시하는 제1 플래그를 획득하는 단계; 적합성 윈도우가 존재한다는 것을 표시하는 제1 플래그에 기초하여, 적합성 윈도우가 참조 픽처 리샘플링에 사용되는지를 표시하는 제2 플래그를 획득하는 단계; 적합성 윈도우가 참조 픽처 리샘플링에 사용된다는 것을 표시하는 제2 플래그에 기초하여, 현재 픽처와 참조 픽처 사이의 리샘플링 비율을 적합성 윈도우의 적합성 윈도우 크기에 기초하여 결정하는 단계; 적합성 윈도우가 참조 픽처 리샘플링에 사용되지 않는다는 것을 표시하는 제2 플래그에 기초하여, 리샘플링 비율을 리샘플링 픽처 크기에 기초하여 결정하는 단계; 및 리샘플링 비율을 사용하여 현재 픽처에 대해 참조 픽처 리샘플링을 수행하는 단계를 포함한다. 일 실시예에서, 인코딩된 비디오 비트스트림을 디코딩하는 디바이스가 제공되며, 이 디바이스는 프로그램 코드를 저장하도록 구성되는 적어도 하나의 메모리; 및 프로그램 코드를 판독하고 프로그램 코드에 의해 명령된 바와 같이 동작하도록 구성되는 적어도 하나의 프로세서를 포함하고, 프로그램 코드는: 적어도 하나의 프로세서로 하여금, 적합성 윈도우가 현재 픽처에 존재한다는 것을 표시하는 제1 플래그를 획득하게 하도록 구성되는 제1 획득 코드; 적어도 하나의 프로세서로 하여금, 적합성 윈도우가 존재한다는 것을 표시하는 제1 플래그에 기초하여, 적합성 윈도우가 참조 픽처 리샘플링에 사용되는지를 표시하는 제2 플래그를 획득하게 하도록 구성되는 제2 획득 코드; 적어도 하나의 프로세서로 하여금, 적합성 윈도우가 참조 픽처 리샘플링에 사용된다는 것을 표시하는 제2 플래그에 기초하여, 현재 픽처와 참조 픽처 사이의 리샘플링 비율을 적합성 윈도우의 적합성 윈도우 크기에 기초하여 결정하게 하도록 구성되는 제1 결정 코드; 적어도 하나의 프로세서로 하여금, 적합성 윈도우가 참조 픽처 리샘플링에 사용되지 않는다는 것을 표시하는 제2 플래그에 기초하여, 리샘플링 비율을 리샘플링 픽처 크기에 기초하여 결정하게 하도록 구성되는 제2 결정 코드; 및 적어도 하나의 프로세서로 하여금, 리샘플링 비율을 사용하여 현재 픽처에 대해 참조 픽처 리샘플링을 수행하게 하도록 구성되는 수행 코드를 포함한다. 일 실시예에서, 명령어들이 저장된 비일시적 컴퓨터 판독가능 매체가 제공되며, 이 명령어들은: 인코딩된 비디오 비트스트림을 디코딩하는 디바이스의 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서로 하여금: 적합성 윈도우가 현재 픽처에 존재한다는 것을 표시하는 제1 플래그를 획득하게 하고; 적합성 윈도우가 존재한다는 것을 표시하는 제1 플래그에 기초하여, 적합성 윈도우가 참조 픽처 리샘플링에 사용되는지를 표시하는 제2 플래그를 획득하게 하고; 적합성 윈도우가 참조 픽처 리샘플링에 사용된다는 것을 표시하는 제2 플래그에 기초하여, 현재 픽처와 참조 픽처 사이의 리샘플링 비율을 적합성 윈도우의 적합성 윈도우 크기에 기초하여 결정하게 하고; 적합성 윈도우가 참조 픽처 리샘플링에 사용되지 않는다는 것을 표시하는 제2 플래그에 기초하여, 리샘플링 비율을 리샘플링 픽처 크기에 기초하여 결정하게 하고; 리샘플링 비율을 사용하여 현재 픽처에 대해 참조 픽처 리샘플링을 수행하게 하는 하나 이상의 명령어를 포함한다. 개시된 주제의 추가의 특징들, 본질 및 다양한 이점들이 다음의 상세한 설명 및 첨부 도면들로부터 더 명백할 것이다. 도 1은 일 실시예에 따른 통신 시스템의 단순화된 블록도의 개략도이다. 도 2는 일 실시예에 따른 통신 시스템의 단순화된 블록도의 개략도이다. 도 3은 일 실시예에 따른 디코더의 단순화된 블록도의 개략도이다. 도 4는 일 실시예에 따른 인코더의 단순화된 블록도의 개략도이다. 도 5는 일 실시예에 따른 ARC 파라미터들을 시그널링하기 위한 옵션들의 개략도이다. 도 6a 및 도 6b는 일 실시예에 따른 신택스 테이블들의 예들의 개략도이다. 도 7은 일 실시예에 따른 SPS에서의 픽처 크기 및 적합성 윈도우의 시그널링의 개략도이다. 도 8a 및 도 8b는 실시예들에 따른 PPS에서의 픽처 크기 및 적합성 윈도우의 시그널링의 개략도들이다. 도 9는 일 실시예에 따른 PPS에서의 리샘플링 픽처 크기의 시그널링의 개략도이다. 도 10은 일 실시예에 따른 인코딩된 비디오 비트스트림을 디코딩하는 예시적인 프로세스의 흐름도이다. 도 11은 일 실시예에 따른 컴퓨터 시스템의 개략도이다. 도 1은 본 개시내용의 일 실시예에 따른 통신 시스템(100)의 단순화된 블록도를 예시한다. 시스템(100)은 네트워크(150)를 통