KR-20260061486-A - METHODS AND APPARATUS FOR PREDICTION REFINEMENT WITH OPTICAL FLOW

Abstract

PROF를 위한 방법, 디바이스 및 비일시적 컴퓨터 판독가능 저장 매체가 제공된다. 디코더는 비디오 신호 내에서 아핀 모드로 코딩된 비디오 블록과 연관된 제 1 참조 픽처 및 제 2 참조 픽처를 획득한다. 디코더는 제 1 참조 픽처 및 제 2 참조 픽처와 관련된 제 1 예측 샘플들 I (0) (i,j) 및 제 2 예측 샘플들 I (1) (i,j)에 기초하여 제 1 및 제 2 수평 및 수직 그래디언트 값들을 획득한다. 디코더는 제 1 참조 픽처 및 제 2 참조 픽처와 관련된 제어 포인트 모션 벡터들(CPMVs)에 기초하여 제 1 및 제 2 수평 및 수직 모션 미세조정들을 획득한다. 디코더는 제 1 및 제 2 수평 및 수직 그래디언트 값들과 제 1 및 제 2 수평 및 수직 모션 미세조정들에 기초하여 제 1 예측 미세조정 △I (0) (i,j) 및 제 2 예측 미세조정 △I (1) (i,j)를 획득한다. 디코더는 비디오 블록의 최종 예측 샘플들을 획득한다.

Inventors

• 시우 시아오유
• 첸 위엔
• 왕 시앙린
• 유 빙

Assignees

• 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드

Dates

Publication Date

20260506

Application Date

20200917

Priority Date

20190917

Claims (13)

1. 비디오 코딩 방법으로서, 2개의 일반 제한 정보(GCI) 레벨 제어 플래그들을 결정하는 단계를 포함하고, 상기 2개의 GCI 레벨 제어 플래그들은 제 1 GCI 레벨 제어 플래그 및 제 2 GCI 레벨 제어 플래그를 포함하며, 상기 제 1 GCI 레벨 제어 플래그는 제 1 시퀀스 파라미터 세트(SPS) 레벨 제어 플래그가 0과 같아야 하는지 여부를 나타내고, 제 2 GCI 레벨 제어 플래그는 제 2 시퀀스 파라미터 세트(SPS) 레벨 제어 플래그가 0과 같아야 하는지 여부를 나타내는 것을 특징으로 하는 비디오 코딩 방법.
2. 제1항에 있어서, 상기 제 1 SPS 레벨 제어 플래그와 상기 제 2 SPS 레벨 제어 플래그를 결정하는 단계, 상기 제 1 SPS 레벨 제어 플래그는 양방향 광학 흐름(bi-directional optical flow: BDOF)이 현재 비디오 시퀀스에 대해 활성화되는지 여부를 나타내고, 상기 제 2 SPS 레벨 제어 플래그는 광학 흐름을 이용한 예측 미세조정(prediction refinement with optical flow: PROF)이 현재 비디오 시퀀스에 대해 활성화되는지 여부를 나타내며; 현재 비디오 시퀀스에 대해 BDOF가 활성화됨을 상기 제 1 SPS 레벨 제어 플래그가 나타낼 때, 비디오 블록이 아핀 모드로 인코딩되지 않은 경우 제 1 예측 샘플들 I (0) (i,j) 및 제 2 예측 샘플들 I (1) (i,j)에 기초하여 상기 비디오 블록의 모션 미세조정을 유도하도록 BDOF를 적용하는 단계; 현재 비디오 시퀀스에 대해 PROF가 활성화됨을 상기 제 2 SPS 레벨 제어 플래그가 나타낼 때, 비디오 블록이 아핀 모드로 인코딩된 경우 제 1 예측 샘플들 I (0) (i,j) 및 제 2 예측 샘플들 I (1) (i,j)에 기초하여 상기 비디오 블록의 모션 미세조정을 유도하도록 PROF를 적용하는 단계; 및 모션 미세조정들에 기초하여 현재 비디오 블록의 예측 샘플들을 획득하는 단계 를 더 포함하는 것을 특징으로 하는 비디오 코딩 방법.
3. 제1항에 있어서, 제 1 SPS 레벨 제어 플래그가 0과 같아야 하는지 여부를 나타내는 제 1 GCI 레벨 제어 플래그를 시그널링하는 단계; 및 제 2 SPS 레벨 제어 플래그가 0과 같아야 하는지 여부를 나타내는 제 2 GCI 레벨 제어 플래그를 시그널링하는 단계 를 더 포함하는 것을 특징으로 하는 비디오 코딩 방법.
4. 제1항에 있어서, BDOF가 활성화됨을 상기 제 1 SPS 레벨 제어 플래그가 나타낼 때, 슬라이스 헤더의 제 1 제어 플래그를 결정하는 단계, 상기 제 1 제어 플래그는 슬라이스의 비디오 블록들에 대해 BDOF가 비활성화되는지 여부를 시그널링하며; 및 PROF가 활성화됨을 상기 제 2 SPS 레벨 제어 플래그가 나타낼 때, 슬라이스 헤더의 제 2 제어 플래그를 결정하는 단계를 더 포함하며, 상기 제 2 제어 플래그는 슬라이스의 비디오 블록들에 대해 PROF가 활성화되는지 여부를 시그널링하는 것을 특징으로 하는 비디오 코딩 방법.
5. 컴퓨팅 디바이스로서, 하나 이상의 프로세서들; 상기 하나 이상의 프로세서들에 연결된 메모리; 및 상기 메모리에 저장된 복수의 프로그램들을 포함하고, 상기 복수의 프로그램들은 상기 하나 이상의 프로세서들에 의해 실행될 때 상기 컴퓨팅 디바이스로 하여금: 2개의 일반 제한 정보(GCI) 레벨 제어 플래그들을 결정하는 동작을 수행하며, 상기 2개의 GCI 레벨 제어 플래그들은 제 1 GCI 레벨 제어 플래그 및 제 2 GCI 레벨 제어 플래그를 포함하며, 상기 제 1 GCI 레벨 제어 플래그는 제 1 시퀀스 파라미터 세트(SPS) 레벨 제어 플래그가 0과 같아야 하는지 여부를 나타내고, 제 2 GCI 레벨 제어 플래그는 제 2 시퀀스 파라미터 세트(SPS) 레벨 제어 플래그가 0과 같아야 하는지 여부를 나타내는 것을 특징으로 하는 컴퓨팅 디바이스.
6. 제5항에 있어서, 상기 복수의 프로그램들은 또한, 상기 하나 이상의 프로세서들에 의해 실행될 때 상기 컴퓨팅 디바이스로 하여금: 상기 제 1 SPS 레벨 제어 플래그와 상기 제 2 SPS 레벨 제어 플래그를 결정하는 동작, 상기 제 1 SPS 레벨 제어 플래그는 양방향 광학 흐름(BDOF)이 현재 비디오 시퀀스에 대해 활성화되는지 여부를 나타내고, 상기 제 2 SPS 레벨 제어 플래그는 광학 흐름을 이용한 예측 미세조정(PROF)이 현재 비디오 시퀀스에 대해 활성화되는지 여부를 나타내며; 현재 비디오 시퀀스에 대해 BDOF가 활성화됨을 상기 제 1 SPS 레벨 제어 플래그가 나타낼 때, 비디오 블록이 아핀 모드로 인코딩되지 않은 경우 제 1 예측 샘플들 I (0) (i,j) 및 제 2 예측 샘플들 I (1) (i,j)에 기초하여 상기 비디오 블록의 모션 미세조정을 유도하도록 BDOF를 적용하는 동작; 현재 비디오 시퀀스에 대해 PROF가 활성화됨을 상기 제 2 SPS 레벨 제어 플래그가 나타낼 때, 비디오 블록이 아핀 모드로 인코딩된 경우 제 1 예측 샘플들 I (0) (i,j) 및 제 2 예측 샘플들 I (1) (i,j)에 기초하여 상기 비디오 블록의 모션 미세조정을 유도하도록 PROF를 적용하는 동작; 및 모션 미세조정들에 기초하여 현재 비디오 블록의 예측 샘플들을 획득하는 동작 을 포함하는 동작들을 수행하게 하는 것을 특징으로 하는 컴퓨팅 디바이스.
7. 제5항에 있어서, 상기 하나 이상의 프로세서들은 또한 상기 컴퓨팅 디바이스로 하여금: 제 1 SPS 레벨 제어 플래그가 0과 같아야 하는지 여부를 나타내는 제 1 GCI 레벨 제어 플래그를 시그널링하는 동작; 및 제 2 SPS 레벨 제어 플래그가 0과 같아야 하는지 여부를 나타내는 제 2 GCI 레벨 제어 플래그를 시그널링하는 동작 을 포함하는 동작들을 수행하게 하는 것을 특징으로 하는 컴퓨팅 디바이스.
8. 제5항에 있어서, 상기 하나 이상의 프로세서들은 또한 상기 컴퓨팅 디바이스로 하여금: BDOF가 활성화됨을 상기 제 1 SPS 레벨 제어 플래그가 나타낼 때, 슬라이스 헤더의 제 1 제어 플래그를 결정하는 동작, 상기 제 1 제어 플래그는 슬라이스의 비디오 블록들에 대해 BDOF가 비활성화되는지 여부를 시그널링하며; 및 PROF가 활성화됨을 상기 제 2 SPS 레벨 제어 플래그가 나타낼 때, 슬라이스 헤더의 제 2 제어 플래그를 결정하는 동작 을 포함하는 동작들을 수행하게 하며, 상기 제 2 제어 플래그는 슬라이스의 비디오 블록들에 대해 PROF가 활성화되는지 여부를 시그널링하는 것을 특징으로 하는 컴퓨팅 디바이스.
9. 인코딩 방법에 의해 생성된 비트스트림을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 인코딩 방법은, 2개의 일반 제한 정보(GCI) 레벨 제어 플래그들을 결정하는 단계를 포함하며, 상기 2개의 GCI 레벨 제어 플래그들은 제 1 GCI 레벨 제어 플래그 및 제 2 GCI 레벨 제어 플래그를 포함하며, 상기 제 1 GCI 레벨 제어 플래그는 제 1 시퀀스 파라미터 세트(SPS) 레벨 제어 플래그가 0과 같아야 하는지 여부를 나타내고, 제 2 GCI 레벨 제어 플래그는 제 2 시퀀스 파라미터 세트(SPS) 레벨 제어 플래그가 0과 같아야 하는지 여부를 나타내는 것을 특징으로 하는 비일시적 컴퓨터 판독가능 저장 매체.
10. 제9항에 있어서, 상기 인코딩 방법은, 상기 제 1 SPS 레벨 제어 플래그와 상기 제 2 SPS 레벨 제어 플래그를 결정하는 단계, 상기 제 1 SPS 레벨 제어 플래그는 양방향 광학 흐름(BDOF)이 현재 비디오 시퀀스에 대해 활성화되는지 여부를 나타내고, 상기 제 2 SPS 레벨 제어 플래그는 광학 흐름을 이용한 예측 미세조정(PROF)이 현재 비디오 시퀀스에 대해 활성화되는지 여부를 나타내며; 현재 비디오 시퀀스에 대해 BDOF가 활성화됨을 상기 제 1 SPS 레벨 제어 플래그가 나타낼 때, 비디오 블록이 아핀 모드로 인코딩되지 않은 경우 제 1 예측 샘플들 I (0) (i,j) 및 제 2 예측 샘플들 I (1) (i,j)에 기초하여 상기 비디오 블록의 모션 미세조정을 유도하도록 BDOF를 적용하는 단계; 현재 비디오 시퀀스에 대해 PROF가 활성화됨을 상기 제 2 SPS 레벨 제어 플래그가 나타낼 때, 비디오 블록이 아핀 모드로 인코딩된 경우 제 1 예측 샘플들 I (0) (i,j) 및 제 2 예측 샘플들 I (1) (i,j)에 기초하여 상기 비디오 블록의 모션 미세조정을 유도하도록 PROF를 적용하는 단계; 및 모션 미세조정들에 기초하여 현재 비디오 블록의 예측 샘플들을 획득하는 단계 를 더 포함하는 것을 특징으로 하는 비일시적 컴퓨터 판독가능 저장 매체.
11. 제9항에 있어서, 상기 인코딩 방법은, 제 1 SPS 레벨 제어 플래그가 0과 같아야 하는지 여부를 나타내는 제 1 GCI 레벨 제어 플래그를 시그널링하는 단계; 및 제 2 SPS 레벨 제어 플래그가 0과 같아야 하는지 여부를 나타내는 제 2 GCI 레벨 제어 플래그를 시그널링하는 단계 을 더 포함하는 것을 특징으로 하는 비일시적 컴퓨터 판독가능 저장 매체.
12. 제9항에 있어서, 상기 인코딩 방법은, BDOF가 활성화됨을 상기 제 1 SPS 레벨 제어 플래그가 나타낼 때, 슬라이스 헤더의 제 1 제어 플래그를 결정하는 단계, 상기 제 1 제어 플래그는 슬라이스의 비디오 블록들에 대해 BDOF가 비활성화되는지 여부를 시그널링하며; 및 PROF가 활성화됨을 상기 제 2 SPS 레벨 제어 플래그가 나타낼 때, 슬라이스 헤더의 제 2 제어 플래그를 결정하는 단계 를 더 포함하며, 상기 제 2 제어 플래그는 슬라이스의 비디오 블록들에 대해 PROF가 활성화되는지 여부를 시그널링하는 것을 특징으로 하는 비일시적 컴퓨터 판독가능 저장 매체.
13. 비트스림을 저장하는 방법으로서, 제1항 내지 제4항 중 어느 한 항에 따른 비디오 코딩 방법을 수행함에 의해서 비트스트림을 생성하는 단계; 및 상기 비트스트림을 저장하는 단계 를 포함하는 것을 특징으로 하는 비트스림을 저장하는 방법.

Description

광학 흐름을 사용한 예측 미세조정을 위한 방법 및 장치{METHODS AND APPARATUS FOR PREDICTION REFINEMENT WITH OPTICAL FLOW} 본 발명은 비디오 코딩 및 압축에 관한 것이다. 보다 구체적으로, 본 발명은 다목적 비디오 코딩(VVC) 표준에서 연구되는 2개의 인터 예측 툴들 즉, 광학 흐름을 이용한 예측 미세조정(Prediction Refinement with Optical Flow: PROF) 및 양방향 광학 흐름(Bi-Directional Optical Flow: BDOF)에 대한 방법들 및 장치들에 관한 발명이다. 여러 비디오 코딩 기술들이 비디오 데이터를 압축하는데 사용될 수 있다. 비디오 코딩은 하나 이상의 비디오 코딩 표준에 따라 수행된다. 예를 들어, 비디오 코딩 표준은, 다목적 비디오 코딩(VVC), 공동 탐색 테스트 모델(JEM), 고효율 비디오 코딩(H.265/HEVC), 고급 비디오 코딩(H.264/AVC), 동영상 전문가 그룹(MPEG) 코딩, 기타 등등을 포함한다. 비디오 코딩은 일반적으로 비디오 이미지 또는 시퀀스에 존재하는 리던던시를 이용하는 예측 방법(예를 들어, 인터 예측, 인트라 예측 등)을 활용한다. 비디오 코딩 기술의 중요한 목표는 비디오 품질에 대한 저하를 회피하거나 최소화하면서도, 더 낮은 비트 레이트를 이용하는 형태로 비디오 데이터를 압축하는 것이다. 본 명세서에 통합되어 본 명세서의 일부를 구성하는 첨부된 도면들은 본 개시와 일치하는 실시예들을 예시하며, 상세한 설명과 함께 본 발명의 원리를 설명하는 역할을 수행한다. 도 1은 본 개시의 일 실시예에 따른 인코더의 블록도이다. 도 2는 본 개시의 일 실시예에 따른 디코더의 블록도이다. 도 3a는 본 발명의 일 실시예에 따른 멀티 타입 트리 구조에서 블록 파티션을 나타내는 도면이다. 도 3b는 본 발명의 일 실시예에 따른 멀티 타입 트리 구조에서 블록 파티션을 나타내는 도면이다. 도 3c는 본 발명의 일 실시예에 따른 멀티 타입 트리 구조에서 블록 파티션을 나타내는 도면이다. 도 3d는 본 발명의 일 실시예에 따른 멀티 타입 트리 구조에서 블록 파티션을 나타낸 도면이다. 도 3e는 본 발명의 일 실시예에 따른 멀티 타입 트리 구조에서 블록 파티션을 나타낸 도면이다. 도 4는 본 발명의 일 실시예에 따른 양방향 광학 흐름(BDOF) 모델을 나타낸 도면이다. 도 5a는 본 발명의 일 실시예에 따른, 아핀 모델의 예시이다. 도 5b는 본 발명의 일 실시예에 따른, 아핀 모델의 예시이다. 도 6은 본 발명의 일 실시예에 따른, 아핀 모델의 예시이다. 도 7은 본 발명의 일 실시예에 따른, 광학 흐름(PROF)에 의한 예측 미세조정의 일례이다. 도 8은 본 발명의 일 실시예에 따른 BDOF의 워크플로우이다. 도 9는 본 발명의 일 실시예에 따른 PROF의 워크플로우이다. 도 10은 본 발명의 일 실시예에 따른 BDOF의 방법이다. 도 11은 본 발명의 일 실시예에 따른 BDOF 및 PROF의 방법이다 . 도 12는 본 발명의 일 실시예에 따른 양방향 예측을 위한 PROF의 워크플로우를 나타내는 도면이다. 도 13은 본 발명의 일 실시예에 따른 BDOF 및 PROF 프로세스의 파이프라인 스테이지의 예시이다. 도 14는 본 발명의 일 실시예에 따른 BDOF의 그래디언트 유도 방법의 예시이다. 도 15는 본 발명의 일 실시예에 따른 PROF의 그래디언트 유도 방법의 예시이다. 도 16a는 본 발명의 일 실시예에 따른 아핀 모드에 대한 템플릿 샘플을 유도하는 예시이다. 도 16b는 본 발명의 일 실시예에 따른 아핀 모드에 대한 템플릿 샘플을 유도하는 예시이다. 도 17a는 본 발명의 일 실시예에 따른 아핀 모드에 대해 PROF 및 LIC를 배타적으로 인에이블하는 예시이다. 도 17b는 본 발명의 일 실시예에 따른 아핀 모드를 위해 PROF 및 LIC를 공동으로 인에이블하는 예시이다. 도 18a는 본 발명의 일 실시예에 따른 16X16 BDOF CU에 적용되는 제안된 패딩 방법을 나타낸 도면이다. 도 18b는 본 발명의 일 실시예에 따른 16X16 BDOF CU에 적용되는 제안된 패딩 방법을 나타낸 도면이다. 도 18c는 본 발명의 일 실시예에 따른 16X16 BDOF CU에 제안된 패딩 방법을 나타낸 도면이다. 도 18d는 본 발명의 일 실시예에 따른 16X16 BDOF CU에 제안된 패딩 방법을 나타낸 도면이다. 도 19는 본 발명의 일 실시예에 따른 사용자 인터페이스와 결합된 컴퓨팅 환경을 나타내는 도면이다. 이제 첨부된 도면들을 참조하여 예시적인 실시예들을 상세하게 설명한다. 다음의 설명은 첨부 도면들을 참조하며, 다른 도면들에 있는 동일한 번호들은 달리 표시되지 않는한 동일하거나 유사한 요소들을 나타낸다. 예시적인 실시예들의 다음의 설명에서 설명된 구현예들은 본 개시 내용과 일치하는 모든 구현예들을 나타내지는 않는다. 대신, 이들은 첨부된 청구범위에 기재된 바와 같이 본 개시와 관련된 측면과 일치하는 디바이스 및 방법의 예일 뿐이다. 본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위한 것이며, 본 발명을 제한하려는 것이 아니다. 본 개시내용 및 첨부된 청구범위에서 사용되는 바와 같이, 단수 형태 "a", "an" 및 "the"는 문맥에서 명백하게 달리 지시하지 않는 한, 복수 형태도 포함하는 것으로 의도된다. 또한, 여기에서 사용된 "및/또는"이라는 용어는 하나 이상의 연관된 나열된 항목들의 임의의 또는 모든 가능한 조합을 의미 및 포함하도록 의도된 것으로 이해되어야 한다. 다음을 유의해야 하는바, 비록 "제 1", "제 2", "제 3" 등의 용어가 다양한 정보를 설명하는데 이용될 수 있지만, 상기 정보는 이러한 용어들에 의해 제한되지 않는다. 이러한 용어들은 하나의 카테고리의 정보를 다른 카테고리와 구별하기 위해서만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서, 제 1 정보는 제 2 정보로 지칭될 수 있고; 유사하게, 제 2 정보는 또한 제 1 정보로 지칭될 수 있다. 본 명세서에 사용된 바와 같이, "if" 라는 용어는 문맥에 따라 "언제" 또는 "~하면" 또는 "판단에 응답하여"를 의미하는 것으로 이해될 수 있다. HEVC 표준의 제 1 버전은 2013년 10월에 완료되었으며, 이는 이전 세대의 비디오 코딩 표준 H.264/MPEG AVC와 비교하여, 약 50%의 비트-레이트 절감 또는 동등한 지각 품질을 제공한다. 비록, HEVC 표준이 이전 표준보다 상당한 코딩 개선 사항을 제공하지만, HEVC에 대한 추가 코딩 툴을를 사용하여 더욱 우수한 코딩 효율성을 달성할 수 있다는 증거가 존재한다. 이를 기반으로 VCEG와 MPEG 둘다는, 미래의 비디오 코딩 표준화를 위한 새로운 코딩 기술의 탐색 작업을 시작했다. ITU-T VECG와 ISO/IEC MPEG는 2015년 10월에 공동 비디오 탐색 팀(JVET: Joint Video Exploration Team)을 구성하여 코딩 효율성을 크게 향상시킬 수 있는 첨단 기술에 대한 중요한 연구를 시작했다. 공동 탐색 테스트 모델(JEM)이라 지칭되는 하나의 참조 소프트웨어는 HEVC 테스트 모델(HM) 위에 여러 개의 추가 코딩 툴들을 통합하여 JVET에 의해 유지되었다. 2017년 10월에, HEVC를 넘어서는 능력을 갖는 비디오 압축에 대한 제안 조인트 호출(joint call for proposals: CfP)가 ITU-T와 ISO/IEC에 의해 발행되었다. 2018년 4월에, 10차 JVET 회의에서 23개의 CfP 응답들이 접수 및 평가되었으며, 이는 HEVC에 비해 약 40%의 압축 효율성 향상을 보여주었다. 이러한 평가 결과를 바탕으로, JVET는 다목적 비디오 코딩(VVC: Versatile Video Coding)이라는 차세대 비디오 코딩 표준을 개발하기 위한 새로운 프로젝트를 시작했다. 같은 달에, VVC 테스트 모델(VTM)이라고 하는 하나의 참조 소프트웨어 코드베이스가 VVC 표준의 참조 구현을 시연하기 위해 확립되었다. HEVC와 유사하게, VVC는 블록 기반 하이브리드 비디오 코딩 프레임 워크 위에 형성된다. 도 1은 VVC를 위한 블록 기반 비디오 인코더의 일반적인 도면을 보여준다. 구체적으로, 도 1은 전형적인 인코더(100)를 도시한다. 인코더(100)는 비디오 입력(110), 모션 보상(112), 모션 추정(114), 인트라/인터 모드 결정(116), 블록 예측(140), 가산기(128), 변환기(130), 양자화기(132), 예측 관련 정보(142), 인트라 예측(118), 픽처 버퍼(120), 역양자화기(134), 역변환기(136), 가산기(126), 메모리(12), 인루프 필터(122), 엔트로피 코딩(138), 및 비트스트림(144)을 갖는다. 인코더(100)에서, 비디오 프레임은 비디오 프로세싱을 위해 복수의 블록들로 분할된다. 각각의 주어진 비디오 블록에 대해, 인터 예측 접근법 또는 인트라 예측 접근법에 기초하여 예측이 형성된다. 비디오 입력(110)의 일부인 현재 비디오 블록과 블록 예측기(140)의 일부인 그것의 예측치 사이의 차이값을 나타내는 예측 잔차는 가산기(128)로부터 변환기(130)로 전송된다. 다음으로, 엔트로피 감소를 위해 변환 계수가 변환기(130)로부터 양자화기(132)로 전송된다. 양자화된 계수는 엔트로피 코딩(138)으로 공급되어, 압축된 비디오 비트스트림을 생성한다. 도 1에 도시된 바와 같이, 비디오 블록 파티션 정보, 모션 벡터(MV), 참조 픽처 인덱스, 및 인트라 예측 모드와 같은 인트라/인터 모드 결정(116)으로부터의 예측 관련 정보(142)도 엔트로피 코딩(138)을 통해 공급되고 그리고 압축된 비트스트림(144)에 저장된다. 압축된 비트스트림(144)은 비디오 비트스트림을 포함한다. 인코더(100)에서는, 예측 목적을 위해 픽셀들을 재구성하도록 디코더 관련 회로들이 또한 필요하다. 먼저, 역양자화기(134)와 역변환기(136)를 통해 예측 잔차가 재구성된다. 재구성된 예측 잔차는 블록 예측기(140)와 결합되어 현재 비디오 블록에 대한 필터링되지 않은 재구성된 픽셀을 생성한다.