Search

KR-20260060725-A - IMAGE PROCESSING METHOD AND APPARATU

KR20260060725AKR 20260060725 AKR20260060725 AKR 20260060725AKR-20260060725-A

Abstract

일 실시예에 따른 영상 처리 방법은 로 영상(raw image)을 획득하는 단계, 픽셀 LUT에 기초하여, 타겟 픽셀에 대응하는 픽셀 가중치를 획득하는 단계, 로 영상 및 픽셀 가중치에 기초하여, 타겟 픽셀의 타겟 색상에 대응하는 타겟 픽셀의 방향 별 영상 성분을 계산하는 단계, 그래디언트 LUT에 기초하여, 타겟 픽셀의 방향 별 가중치를 결정하는 단계 및 방향 별 가중치와 방향 별 영상 성분에 기초하여, 타겟 픽셀의 타겟 색상 픽셀 값을 결정하는 단계를 포함할 수 있다.

Inventors

  • 김필수
  • 조영현
  • 김정섭
  • 이병대
  • 이서훈
  • 이형욱
  • 이훈성
  • 최승원
  • 최종성

Assignees

  • 삼성전자주식회사

Dates

Publication Date
20260506
Application Date
20241025

Claims (20)

  1. 로 영상(raw image)을 획득하는 단계; 픽셀 LUT에 기초하여, 타겟 픽셀에 대응하는 픽셀 가중치를 획득하는 단계; 상기 로 영상 및 상기 픽셀 가중치에 기초하여, 상기 타겟 픽셀의 방향 별 영상 성분을 계산하는 단계; 그래디언트 LUT에 기초하여, 상기 타겟 픽셀의 방향 별 가중치를 결정하는 단계; 및 상기 방향 별 가중치와 상기 방향 별 영상 성분에 기초하여, 상기 타겟 픽셀의 출력 값을 결정하는 단계 를 포함하는 영상 처리 방법.
  2. 제1항에 있어서, 상기 타겟 픽셀의 출력 값을 결정하는 단계는 상기 타겟 픽셀의 타겟 색상에 대응하는 픽셀 값을 결정하는 단계 를 포함하는 영상 처리 방법.
  3. 제1항에 있어서, 상기 픽셀 LUT 및 상기 그래디언트 LUT는 인공 신경망 모델 학습을 통해 생성되는, 영상 처리 방법.
  4. 제1항에 있어서, 상기 그래디언트 LUT는 하나 이상의 그래디언트 LUT를 포함하는, 영상 처리 방법.
  5. 제4항에 있어서, 상기 그래디언트 LUT는 제1 그래디언트 LUT 및 제2 그래디언트 LUT를 포함하고, 상기 타겟 픽셀의 방향 별 가중치를 결정하는 단계는 상기 제1 그래디언트 LUT에 기초하여 상기 타겟 픽셀의 방향 별 제1 그래디언트 가중치를 획득하는 단계; 상기 제2 그래디언트 LUT에 기초하여 상기 타겟 픽셀의 방향 별 제2 그래디언트 가중치를 획득하는 단계; 및 상기 제1 그래디언트 가중치와 상기 제2 그래디언트 가중치를 정규화하여 상기 타겟 픽셀의 방향 별 가중치를 결정하는 단계 를 포함하는, 영상 처리 방법.
  6. 제5항에 있어서, 상기 제1 그래디언트 LUT는 픽셀 간의 수평 및 수직 방향에 대한 그래디언트 정보에 대응하는 상기 제1 그래디언트 가중치를 포함하고, 상기 제2 그래디언트 LUT는 픽셀 간의 대각선 방향에 대한 그래디언트 정보에 대응하는 상기 제2 그래디언트 가중치를 포함하는, 영상 처리 방법.
  7. 제5항에 있어서, 상기 타겟 픽셀의 방향 별 가중치를 결정하는 단계는 상기 픽셀 LUT에 기초하여, 픽셀 방향 가중치를 획득하는 단계; 및 상기 제1 그래디언트 가중치, 상기 제2 그래디언트 가중치 및 상기 픽셀 방향 가중치를 정규화하여 상기 타겟 픽셀의 방향 별 가중치를 결정하는 단계 를 포함하는, 영상 처리 방법.
  8. 제1항에 있어서, 상기 그래디언트 LUT는 상기 그래디언트 LUT에 입력되는 그래디언트 특성에 따라 상이한 경로로 처리되며, 상기 경로는 같은 색상 픽셀 간의 그래디언트가 입력되는 경로와, 다른 색상 픽셀 간의 그래디언트가 입력되는 경로로 분리되어 동작하는, 영상 처리 방법.
  9. 제1항에 있어서, 상기 그래디언트 LUT는 상기 그래디언트 LUT에 입력되는 그래디언트 특성에 따라 상이한 경로로 처리되며, 상기 경로는 제1 방향에 대한 픽셀 간의 그래디언트가 입력되는 경로와, 제2 방향에 대한 픽셀 간의 그래디언트가 입력되는 경로로 분리되어 동작하는, 영상 처리 방법.
  10. 제1항에 있어서, 상기 그래디언트 LUT는 복수의 LUT로 구성되며, 상기 복수의 LUT는 복수의 단계로 분할되어, 각 단계에서 출력된 값을 다음 단계의 입력으로 사용하여 상기 타겟 픽셀의 그래디언트 가중치를 점진적으로 계산하는, 영상 처리 방법.
  11. 제1항에 있어서, 상기 타겟 픽셀의 방향 별 영상 성분을 계산하는 단계는 상기 로 영상에서, 상기 타겟 픽셀을 기준으로 미리 정해진 영역 내에 존재하고 상기 타겟 색상 픽셀 값을 가지는 주변 픽셀의 픽셀 값을 획득하는 단계; 및 상기 주변 픽셀과 상기 픽셀 가중치에 기초하여, 상기 타겟 픽셀의 방향 별 영상 성분을 계산하는 단계 를 포함하는, 영상 처리 방법.
  12. 제11항에 있어서, 상기 픽셀 가중치를 획득하는 단계는 상기 주변 픽셀의 픽셀 값과 상기 타겟 픽셀의 픽셀 값 사이의 차이를 계산하는 단계; 및 상기 픽셀 LUT에 기초하여, 상기 차이에 대응하는 상기 픽셀 가중치를 획득하는 단계 를 포함하는, 영상 처리 방법.
  13. 제11항에 있어서, 상기 타겟 픽셀의 방향 별 영상 성분을 계산하는 단계는 상기 주변 픽셀의 픽셀 값과 상기 타겟 픽셀의 픽셀 값 사이의 차이를 계산하는 단계; 및 상기 차이 및 상기 픽셀 가중치에 기초하여, 상기 타겟 픽셀의 방향 별 영상 성분을 계산하는 단계 를 포함하는, 영상 처리 방법.
  14. 제11항에 있어서, 상기 픽셀 LUT는 상기 타겟 픽셀과 수평 방향에 존재하는 주변 픽셀 간의 차이를 입력으로 수신하는 수평 방향 LUT, 상기 타겟 픽셀과 수직 방향에 존재하는 주변 픽셀 간의 차이를 입력으로 수신하는 수직 방향 LUT 및 상기 타겟 픽셀과 대각 방향에 존재하는 주변 픽셀 간의 차이를 입력으로 수신하는 대각 방향 LUT를 포함하는, 영상 처리 방법.
  15. 하드웨어와 결합하여 제1항 내지 제14항 중 어느 한 항에 따른 방법을 실행시키기 위한 컴퓨터 프로그램을 저장하는 기록 매체.
  16. 전자 장치에 있어서, 처리 회로(processing circuitry)를 포함하는 적어도 하나의 프로세서; 및 명령어들(instructions)을 저장하는 메모리를 포함하고, 상기 명령어들이 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 집합적으로 실행될 때, 상기 전자 장치로 하여금: 로 영상(raw image)을 획득하고, 픽셀 LUT에 기초하여, 타겟 픽셀에 대응하는 픽셀 가중치를 획득하고, 상기 로 영상 및 상기 픽셀 가중치에 기초하여, 상기 타겟 픽셀의 방향 별 영상 성분을 계산하고, 그래디언트 LUT에 기초하여, 상기 타겟 픽셀의 방향 별 가중치를 결정하고, 상기 방향 별 가중치와 상기 방향 별 영상 성분에 기초하여, 상기 타겟 픽셀의 출력 값을 결정하도록 하는, 전자 장치.
  17. 제16항에 있어서, 상기 명령어들이 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 집합적으로 실행될 때, 상기 전자 장치로 하여금: 상기 타겟 픽셀의 타겟 색상에 대응하는 픽셀 값을 결정하도록 하는, 전자 장치.
  18. 제16항에 있어서, 상기 픽셀 LUT 및 상기 그래디언트 LUT는 인공 신경망 모델 학습을 통해 생성되는, 전자 장치.
  19. 제16항에 있어서, 상기 그래디언트 LUT는 하나 이상의 그래디언트 LUT를 포함하는, 영상 처리 방법.
  20. 제19항에 있어서, 상기 그래디언트 LUT는 제1 그래디언트 LUT 및 제2 그래디언트 LUT를 포함하고, 상기 명령어들이 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 집합적으로 실행될 때, 상기 전자 장치로 하여금: 상기 제1 그래디언트 LUT에 기초하여 상기 타겟 픽셀의 방향 별 제1 그래디언트 가중치를 획득하고, 상기 제2 그래디언트 LUT에 기초하여 상기 타겟 픽셀의 방향 별 제2 그래디언트 가중치를 획득하고, 상기 제1 그래디언트 가중치와 상기 제2 그래디언트 가중치를 정규화하여 상기 타겟 픽셀의 방향 별 가중치를 결정하도록 하는, 전자 장치.

Description

영상 처리 방법 및 장치{IMAGE PROCESSING METHOD AND APPARATU} 본 발명의 실시예들은 영상 처리 방법 및 장치에 관한 것으로, 보다 구체적으로는 신경회로망 모사 테이블를 이용한 저복잡도 디모자익 방법에 관한 것이다. 디지털 영상 처리 분야에서 이미지의 품질을 개선하기 위한 다양한 방법들이 지속적으로 개발되고 있다. 특히, 이미지 센서가 획득한 원시 영상(raw 영상)을 처리하는 디모자익(demosaic) 방법은 고화질의 이미지를 생성하기 위해 중요한 역할을 한다. 기존의 디모자익 기술들은 각 픽셀의 색상 정보를 정확하게 재현하기 위해 주변 픽셀과의 상관관계를 분석하여 색상 값을 추정하는 방식이 주로 사용되었다. 그러나 이러한 방법들은 계산 복잡도가 높아지면서 실시간으로 처리하기 어려운 문제가 발생할 수 있다. 이에 따라, 최근에는 보다 효율적인 계산 방법을 도입하여 이미지 처리의 속도를 높이고, 복잡도를 낮추는 연구가 활발히 진행되고 있다. 특히, 인공지능과 신경망 기술을 활용한 디모자익 방법은 픽셀 간의 상호 관계를 학습하고, 이를 바탕으로 빠르고 정확하게 이미지를 복원할 수 있는 기술로 주목받고 있다. 상술한 정보는 본 개시에 대한 이해를 돕기 위한 목적으로 하는 배경 기술(related art)로 제공될 수 있다. 상술한 내용 중 어느 것도 본 개시와 관련된 종래 기술(prior art)로서 적용될 수 있는지에 대하여 어떠한 주장이나 결정이 제기되지 않는다. 도 1은 하나 이상의 실시예에 따른 이미징(촬상) 시스템(100)의 블록도이다. 도 2는 디모자익을 수행하는 방법을 설명하기 위한 도면이다. 도 3은 일 실시예에 따른 디모자익 방법을 설명하기 위한 도면이다. 도 4는 그래디언트 LUT와 픽셀 LUT를 이용하여 채널 이미지를 보간하는 과정을 설명하는 도면이다. 도 5는 일 실시예에 따른 영상 처리 방법을 설명하기 위한 도면이다. 도 6은 일 실시예에 따른 픽셀 가중치를 사용하여 방향 별 영상 성분을 계산하는 과정을 설명하기 위한 도면이다. 도 7a 내지 도 7c는 일 실시예에 따른 픽셀 LUT를 구성하는 방법을 설명하기 위한 도면이다. 도 8은 일 실시예에 따른 수평 및 수직 방향의 그래디언트 정보를 처리하는 Grad LUT(HV)를 설명하는 도면이다. 도 9는 일 실시예에 따른 대각선 방향의 그래디언트 정보를 처리하는 Grad LUT(SB)를 설명하는 도면이다. 도 10a 및 도 10b는 두 번의 디모자익 과정을 연속적으로 수행하는 영상 처리 방법을 설명하는 도면이다. 도 11은 일 실시예에 따른 픽셀 방향 가중치를 사용하지 방향 가중치를 결정하는 방법을 설명하는 도면이다. 도 12는 일 실시예에 따른 그래디언트 LUT의 출력이 방향 별 영상 성분을 계산할 때 사용되는 방법을 설명하는 도면이다. 도 13은 다중 LUT 구조를 활용하여 영상을 처리하는 다양한 방식을 설명하는 도면이다. 도 14는 일 실시예에 따른 영상 처리 방법을 설명하기 위한 순서도이다. 도 15는 일 실시예에 따른 전자 장치를 나타낸 도면이다. 본 명세서에서 개시되어 있는 특정한 구조적 또는 기능적 설명들은 단지 기술적 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 실제로 구현된 형태는 다양한 다른 모습을 가질 수 있으며 본 명세서에 설명된 실시예로만 한정되지 않는다. 제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 이해되어야 한다. 예를 들어 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~간의"와 "바로~간의" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 제품으로 구현될 수 있다. 이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다. 도 1은 하나 이상의 실시예에 따른 이미징(촬상) 시스템(100)의 블록도이다. 도 1을 참조하면, 일 실시예에 따른 이미징 시스템(100)은 스마트폰, 태블릿 PC, 카메라 또는 기타 디바이스와 같은 모바일 장치의 일부를 포함할 수 있다. 이미징 시스템(100)은 렌즈(105), 컬러 필터 어레이(CFA)(110), 이미지 센서(115) 및 프로세서(120)를 포함할 수 있다. 그러나, 도시된 구성요소 모두가 필수 구성 요소인 것은 아니다. 또한, 도시된 구성요소보다 많은 구성요소에 의해 이미징 시스템(100)이 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 이미징 시스템(100)은 구현될 수 있다. 예를 들어, 이미지 시스템(100)은 컨트롤러, 메모리 및 디스플레이를 더 포함할 수도 있다. 이미징 시스템(100)의 컴포넌트(구성 요소) 중 하나 이상(예를 들어, 컬러 필터 어레이(110), 이미지 센서(115) 및 프로세서(120) 중 하나 이상)은 시스템 온 칩(SOC) 또는 기타 통합 시스템과 같은 단일 통합 시스템의 요소로서 인스턴스화될 수 있다. 추가로, 다양한 실시예에서, 컬러 필터 어레이(110) 및 이미지 센서(115)는 컬러 필터 어레이(110)의 픽셀이 이미지 센서(115)의 표면 상에 형성되거나 배치되는 경우와 같이 통합될 수 있다. 광(101)은 렌즈(105)와 컬러 필터 어레이(110)를 통과하여 이미지 센서(115)에 의해 감지되는데, 이미지 센서는 수신된 광을 이용하여 컬러 필터 어레이 입력 영상을 생성할 수 있다. 렌즈(105)는 임의의 적절한 렌즈를 포함할 수 있으며, 비제한적 예로서 직선(rectilinear) 렌즈, 광시야(또는 "어안") 렌즈, 고정 초점 거리 렌즈, 줌 렌즈, 고정 조리개 또는 가변 조리개 렌즈 등을 포함할 수 있다. 이미지 센서(115)는 CMOS 이미지 센서, CCD(Charge-Coupled Device) 이미지 센서, 또는 기타 적절한 이미지 센서를 포함할 수 있다. 이미지 센서(115)는 수광 소자를 이용하여 빛을 전기 신호로 변환할 수 있고, 이때 빛의 세기 뿐 아니라 색 정보를 획득하기 위하여 컬러 필터 어레이(110)를 통해 특정 파장대(wavelength)의 가시광선의 세기를 특정하여 수광을 진행하고, 이를 통해 해당 위치에서 파장의 빛의 세기를 확인함으로써 우리가 인지하는 컬러 변환을 가능하게 한다. 프로세서(120)는 이미지 신호 프로세서(ISP; Image Signal Processor)일 수 있다. 프로세서(120)는 컬러 필터 어레이(110)에 의하여 샘플링된 입력 신호를 RGB 이미지로 생성하기 위하여 각 컬러 채널의 미싱 픽셀(missing pixel)을 생성하는 디모자익(demosaic)을 수행할 수 있다. 최근 딥 러닝 등 기계 학습 기술이 영상 처리에 적용되며 디모자익에 대한 적용이 이루어 졌으며 고전적인 ISP 방법 대비 우수한 성능을 갖는 것이 정량, 정성적으로 확인되어 왔다. 기계 학습을 이용한 디모자익의 경우 일반적으로 U-NET, RDN(residual dense block) 등의 컨볼루션 필터(convolution filter) 집합 구조를 이용하여 영상 처리를 수행한다. 그러나, 기계 학습 기반의 디모자익 기술은 높은 복잡도를 가지고 있다는 문제가 있다. 특히, CNN 기반 알고리즘은 파라미터의 수가 많아 하드웨어 구현 시 상당한 부담이 되며, 상용 ISP 하드웨어에 적용하기 어려운 복잡도를 가지고 있다. 이를 해결하기 위해 LUT(Look-Up Table) 기반 알고리즘이 제안되었지만, 여전히 복잡도가 높다는 한계가 있다. LUT 크기가 클 경우(예를 들어, 1.67MB), 상용 ISP 하드웨어에 탑재하기에는 과도한 자원을 소모하게 되어 실질적인 구현이 어려울 수 있다. 이를 해결하기 위해 LUT의 크기를 미리 정해진 크기(예를 들어, 123KB) 이하로 줄여야 한다는 요구가 있다. 아래에서 상세히 설명하겠지만, 일 실시예에 따른 프로세서(120)는 픽셀 LUT와 그래디언트 LUT를 기반으로 디모자익을 수행할 수 있다. 픽셀 LUT와 그래디언트 LUT는 인공 신경망 학습을 통해 생성될 수 있으며, 프로세서(120)는 픽셀과 그래디언트 정보를 LUT 방식으로 처리하여 복잡한 연산을 단순화하고, 빠르고 효율적인 디모자익을 수행할 수 있다. 또한, 프로세서(120)는 단계별로 계산을 진행하여 점진적으로 가중치를 구하고, 경로를 다양하게 분리하여, 각각의