KR-20260061657-A - IMAGE DEVICE

KR20260061657AKR 20260061657 AKR20260061657 AKR 20260061657AKR-20260061657-A

Abstract

본 발명의 일 실시예에 따른 이미지 장치는, 광 신호를 전기 신호로 변환하는 복수의 픽셀들을 포함하는 이미지 센서 및 상기 복수의 픽셀들 중에서 불량 픽셀을 검출하는 프로세스를 포함하는 이미지 신호 프로세서(Image Signal Processor, ISP); 를 포함하고, 상기 이미지 신호 프로세서는, 상기 복수의 픽셀들 각각이 불량 픽셀일 불량 확률을 기준으로 상기 복수의 픽셀들을 나열하고, 상기 복수의 픽셀들 중에서 상기 불량 확률이 이상치 기준값을 넘는 제1 그룹에 속하는 픽셀을 제1 불량 픽셀로 검출하고, 일정한 시간이 지나면 상기 복수의 픽셀들이 불량 픽셀이 되는 확률 분포에 대한 사전 정보를 이용하여 상기 복수의 픽셀들 중에서 상기 제1 그룹과 다른 제2 그룹에 속하는 픽셀을 제2 불량 픽셀로 검출한다.

Inventors

유선영
송성욱
강무현
박동진
이지홍
임성혁

Assignees

삼성전자주식회사

Dates

Publication Date: 20260506
Application Date: 20241028

Claims (10)

광 신호를 전기 신호로 변환하는 복수의 픽셀들을 포함하는 이미지 센서; 및 상기 복수의 픽셀들 중에서 불량 픽셀을 검출하는 프로세스를 포함하는 이미지 신호 프로세서(Image Signal Processor, ISP); 를 포함하고, 상기 이미지 신호 프로세서는, 상기 복수의 픽셀들 각각이 불량 픽셀일 불량 확률을 기준으로 상기 복수의 픽셀들을 나열하고, 상기 복수의 픽셀들 중에서 상기 불량 확률이 이상치 기준값을 넘는 제1 그룹에 속하는 픽셀을 제1 불량 픽셀로 검출하고, 일정한 시간이 지나면 상기 복수의 픽셀들이 불량 픽셀이 되는 확률 분포에 대한 사전 정보를 이용하여 상기 복수의 픽셀들 중에서 상기 제1 그룹과 다른 제2 그룹에 속하는 픽셀을 제2 불량 픽셀로 검출하는 이미지 장치.
제1항에 있어서, 상기 이미지 신호 프로세서는, 상기 복수의 픽셀들 중에서 일부 픽셀들을 포함하는 서브 픽셀 그룹을 결정하고, 상기 일부 픽셀들 중에서 타겟 픽셀 및 후보 픽셀들을 결정하고, 상기 후보 픽셀들을 상기 타겟 픽셀과 각각 비교하여 상기 후보 픽셀들의 불량 확률을 기준으로 나열하는 이미지 장치.
제2항에 있어서, 상기 복수의 픽셀들은 각각 제1 컬러 필터, 제2 컬러 필터, 및 제3 컬러 필터 중에 하나의 컬러 필터를 포함하고, 상기 타겟 픽셀 및 상기 후보 픽셀들은 상기 제1 컬러 필터, 상기 제2 컬러 필터, 및 상기 제3 컬러 필터 중에 적어도 하나의 컬러 필터를 포함하는 이미지 장치.
제1항에 있어서, 상기 이미지 신호 프로세서는, 상기 복수의 픽셀들 중에서 일부 픽셀들을 포함하는 서브 픽셀 그룹을 결정하고, 상기 일부 픽셀들 중에서 타겟 픽셀 및 후보 픽셀들을 결정하고, 상기 후보 픽셀들을 상기 타겟 픽셀과 각각 비교하여 상기 후보 픽셀들의 불량 확률과 상기 타겟 픽셀의 불량 확률의 차이를 기준으로 나열하는 이미지 장치.
제1항에 있어서, 상기 복수의 픽셀들에 대응하는 복수의 이미지 픽셀들은 상기 제1 불량 픽셀로 인해 나타나는 제1 노이즈 픽셀, 및 상기 제2 불량 픽셀로 인해 나타나는 제2 노이즈 픽셀을 포함하고, 상기 이미지 신호 프로세서는 상기 제1 노이즈 픽셀 및 상기 제2 노이즈 픽셀을 보정하는 이미지 장치.
광 신호를 전기 신호로 변환하는 복수의 픽셀들을 포함하는 이미지 센서; 및 상기 복수의 픽셀들 중에서 불량 픽셀을 검출하는 프로세스를 포함하는 이미지 신호 프로세서(Image Signal Processor, ISP); 를 포함하고, 상기 이미지 신호 프로세서는, 각 픽셀이 출력하는 디지털 신호의 디지털 값인 코드 레벨을 기준으로 상기 복수의 픽셀들을 나열하고, 상기 복수의 픽셀들 중에서 상기 코드 레벨이 이상치 기준값을 넘는 제1 그룹에 속하는 픽셀을 제1 불량 픽셀로 검출하고, 일정한 시간이 지남에 따라 상기 불량 픽셀이 발생할 확률이 높은 코드 레벨에 대한 사전 정보를 이용하여 상기 복수의 픽셀들 중에서 상기 제1 그룹과 다른 제2 그룹에 속하는 픽셀을 제2 불량 픽셀로 검출하는 이미지 장치.
제6항에 있어서, 상기 이미지 신호 프로세서는, 상기 복수의 픽셀들 중에서 일부 픽셀들을 포함하는 서브 픽셀 그룹을 결정하고, 상기 일부 픽셀들 중에서 타겟 픽셀 및 후보 픽셀들을 결정하고, 상기 후보 픽셀들을 상기 타겟 픽셀과 각각 비교하여 상기 후보 픽셀들에 대응하는 코드 레벨을 기준으로 나열하는 이미지 장치.
제7항에 있어서, 상기 복수의 픽셀들은 각각 제1 컬러 필터, 제2 컬러 필터, 및 제3 컬러 필터 중 하나의 컬러 필터를 포함하고, 상기 타겟 픽셀 및 상기 후보 픽셀들은 서로 동일한 컬러 필터를 포함하는 이미지 장치.
제7항에 있어서, 상기 제1 그룹은 상기 후보 픽셀들 중에서 상기 코드 레벨이 가장 높은 픽셀을 포함하는 이미지 장치.
광 신호를 전기 신호로 변환하는 복수의 픽셀들을 포함하는 이미지 센서; 및 상기 복수의 픽셀들 중에서 불량 픽셀을 검출하는 프로세스를 포함하는 이미지 신호 프로세서(Image Signal Processor, ISP); 를 포함하고, 상기 이미지 신호 프로세서는, 일정한 시간이 지나면서 상기 복수의 픽셀들 각각이 불량 픽셀이 되는 확률 분포에 대한 사전 정보를 이용하여 상기 복수의 픽셀들 중에서 불량 픽셀을 검출하고, 상기 불량 픽셀에 대응하는 노이즈 픽셀의 픽셀 값을 상기 노이즈 픽셀의 상하좌우에 인접한 4개의 다른 이미지 픽셀들의 픽셀 값의 평균으로 대체하여 보정하는 이미지 장치.

Description

이미지 장치{IMAGE DEVICE} 본 발명은 이미지 장치에 관한 것이다. 이미지 장치는 빛을 받아들여 이미지 데이터를 생성하는 장치이며, 빛에 반응하여 전기 신호를 생성하는 복수의 픽셀들을 포함하는 이미지 센서와, 이미지 데이터를 생성하는 신호 프로세서를 포함할 수 있다. 이미지 장치의 제조 과정 및/또는 이미지 장치가 출하된 이후에 노후화 과정에서 복수의 픽셀들 중 불량 픽셀이 발생할 수 있으며, 우주선(cosmic ray) 및 알파선(alpha radiation) 등의 방사선에 노출된 외부 환경으로 인해 불량 픽셀이 발생할 수도 있다. 이와 같이, 다양한 원인에 의해 발생하는 불량 픽셀을 검출하고 이미지 장치의 성능을 향상하기 위한 다양한 연구가 진행되고 있다. 도 1은 본 발명의 일 실시예에 따른 이미지 장치의 외부 환경을 설명하기 위해 제공되는 도면이다. 도 2는 본 발명의 일 실시예에 따른 이미지 장치를 간단하게 나타낸 블록도이다. 도 3 및 도 4는 본 발명의 일 실시예에 따른 복수의 픽셀들의 분포를 나타낸 그래프들이다. 도 5는 본 발명의 일 실시예에 따른 이미지 신호 프로세서가 동작하는 순서를 나타낸 순서도이다. 도 6 및 도 7은 본 발명의 일 실시예에 따른 서브 픽셀 그룹을 간단하게 나타낸 도면들이다. 도 8 내지 도 10은 본 발명의 일 실시예에 따른 복수의 픽셀들의 분포를 나타낸 그래프들이다. 도 11은 본 발명의 일 실시예에 따른 복수의 픽셀들의 분포를 나타낸 그래프이다. 이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 형태들을 다음과 같이 설명한다. 도 1은 본 발명의 일 실시예에 따른 이미지 장치의 외부 환경을 설명하기 위해 제공되는 도면이다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 이미지 장치(20)는, 다양한 외부 환경(10)에 노출될 수 있다. 도 1을 참조하여 설명하는 일 실시예에 따른 이미지 장치(20)는 우주선(cosmic ray, 30) 및 알파선(alpha radiation, 40) 등이 상대적으로 강한 외부 환경(10)에 노출될 수 있다. 방사선은 열 중성자, 고속 중성자 등의 고에너지 입자를 생성하며, 이미지 장치(20)에 고에너지 입자가 충돌하는 경우 다양한 문제가 발생할 수 있다. 예를 들어, 이미지 장치(20)는 트랜지스터와 같은 반도체 소자를 적어도 하나 이상 포함할 수 있다. 상기와 같은 고에너지 입자가 이미지 장치(20)에 포함되는 반도체 소자와 충돌하면, 불량 픽셀(bad pixel)이 생성되고 이미지 데이터에 노이즈를 발생시킬 수 있다. 불량 픽셀은 주변 픽셀들과 비교하여 외부에서 유입된 빛의 세기를 지나치게 밝거나 지나치게 어둡게 감지할 수 있으며, 불량 픽셀로 인해 이미지 장치(20)의 성능이 저하되거나 심한 경우 영구적인 손상이 발생할 수도 있다. 본 발명의 일 실시예에서는, 상기와 같은 문제를 해결하기 위해, 방사선 등의 원인에 의해 발생하는 불량 픽셀을 검출하고 불량 픽셀이 생성한 픽셀 값을 보정함으로써, 이미지 장치의 성능을 개선할 수 있다. 본 발명의 일 실시예에 따른 이미지 장치는, 불량 픽셀로 인해 이미지 데이터에 나타나는 노이즈 픽셀을 검출하는 프로세스가 진행되는 이미지 신호 프로세서(Image Signal Processor, ISP)를 포함할 수 있다. 이미지 신호 프로세서는 방사선 등의 원인에 의해 불량 픽셀이 발생할 확률에 대한 정보를 포함하는 사전 정보를 이용하여, 불량 픽셀을 검출할 수 있다. 일 실시예에서 이미지 신호 프로세서는, 검출된 불량 픽셀에 대응하는 노이즈 픽셀의 픽셀 값을 보정함으로써, 불량 픽셀이 이미지 데이터에 미치는 영향을 감소시키고, 성능이 개선된 이미지 장치를 제공할 수 있다. 도 2는 본 발명의 일 실시예에 따른 이미지 장치를 간단하게 나타낸 블록도이다. 도 2을 참조하면, 이미지 장치(100)는 이미지 센서(200)와 프로세서(300)를 포함할 수 있다. 이미지 센서(200)는 픽셀 어레이(210)와 주변 회로(220-250)를 포함하며, 픽셀 어레이(210)는 복수의 행들과 복수의 열들을 따라서 어레이 형태로 배치되는 복수의 픽셀들을 포함할 수 있다. 복수의 픽셀들 각각에는 빛에 응답하여 전하를 생성하는 광전 변환 소자가 배치되며, 광전 변환 소자는 광전 변환 소자에서 생성한 전하에 대응하는 전기 신호를 생성 및 출력하는 픽셀 회로와 연결될 수 있다. 광전 변환 소자는 반도체 물질로 형성되는 포토 다이오드, 및/또는 유기 물질로 형성되는 유기 포토 다이오드 등을 포함할 수 있다. 일례로 픽셀 회로는 복수의 트랜지스터들 및 커패시터를 포함할 수 있다. 커패시터는 포토 다이오드에서 과도하게 생성된 전하를 저장할 수 있으며, 적어도 하나 이상의 트랜지스터를 통해 포토 다이오드와 연결될 수 있다. 일 실시예에서 커패시터는 MIM(Metal-Insulator-Metal) 커패시터일 수 있다. 주변 회로(220-250)는 픽셀 어레이(210)를 제어하기 위한 회로들을 포함할 수 있다. 일례로, 주변 회로(220-250)는 로우 디코더(220), 리드아웃 회로(230), 데이터 출력 회로(240), 램프 생성기(250) 등을 포함할 수 있다. 주변 회로(220-250)는 프로세서(300)의 타이밍 컨트롤러(310) 가 전달하는 커맨드, 예를 들어 타이밍 신호에 응답하여 동작할 수 있다. 로우 디코더(220)는 픽셀 어레이(210)를 로우(ROW) 라인들 단위로 구동할 수 있다. 픽셀들 중에서 로우 방향(도 2의 가로 방향)을 따라 같은 위치에 배치되는 픽셀들은 동일한 칼럼 라인을 공유할 수 있다. 일례로, 칼럼(COLUMN) 방향(도 1의 세로 방향)에서 같은 위치에 배치되는 픽셀들은 로우 디코더(220)에 의해 동시에 선택되며 칼럼 라인들을 통해 전압 신호를 출력할 수 있다. 리드아웃 회로(230)는 복수의 상관 이중 샘플러들과 복수의 카운터들을 포함하며, 상관 이중 샘플러들은, 픽셀들과 칼럼 라인들을 통해 연결될 수 있다. 일례로 하나의 칼럼 라인에 하나의 상관 이중 샘플러 및 하나의 카운터가 연결될 수 있다. 상관 이중 샘플러들은 로우 디코더(220)가 선택한 로우 라인에 연결되는 픽셀들로부터, 칼럼 라인들을 통해 전압을 읽어올 수 있다. 상관 이중 샘플러들 각각의 입력단들 중 하나의 입력단은 칼럼 라인들에 연결되고, 다른 하나의 입력단은 램프 생성기(250)로부터 램프 전압을 입력받을 수 있다. 상관 이중 샘플러들 각각의 출력단은 카운터들에 연결되며, 카운터들은 상관 이중 샘플러들 각각의 출력이 특정 전압으로 유지되는 시간을 카운트하여 디지털 픽셀 신호를 생성할 수 있다. 일례로, 카운터는 상관 이중 샘플러에 입력되는 램프 전압이 칼럼 라인의 전압보다 큰 시간을 카운트하여 상관 이중 샘플러의 출력을 디지털 픽셀 신호로 변환할 수 있다. 데이터 출력 회로(240)는, 디지털 픽셀 신호를 임시로 저장하는 래치, 버퍼 회로 등의 메모리를 포함하며, 디지털 픽셀 신호를 포함하는 로우(raw) 데이터(RDAT)를 이미지 신호 프로세서(330)로 출력할 수 있다. 이미지 센서(200)의 동작은 프로세서(300)의 타이밍 컨트롤러(310)에 의해 제어될 수 있다. 타이밍 컨트롤러(310)는, 컨트롤 레지스터(320)로부터 수신한 커맨드에 응답하여 이미지 센서(200)의 동작 타이밍을 제어할 수 있다. 한편, 이미지 신호 프로세서(330)는 데이터 출력 회로(240)로부터 로우 데이터(RDAT)를 수신하며, 로우 데이터(RDAT)를 이용하여 이미지 데이터(IFDAT)를 생성할 수 있다. 인터페이스 회로(340)는 미리 정해진 프로토콜, 예를 들어 MIPI(Mobile Industry Processor Interface) 인터페이스를 이용하여 이미지 데이터(IFDAT)를 포함하는 출력 데이터(DOUT)를 외부로 전송할 수 있다. 본 발명의 일 실시예에서, 픽셀 어레이(210)에 포함되는 복수의 픽셀들은 정상적으로 동작하지 않는 불량 픽셀을 포함할 수 있다. 불량 픽셀은 주로 이미지 장치(100)의 제조 과정에서 발생하나, 이미지 장치(100)가 출하된 이후에도 이미지 센서(200)가 노후하거나(aging), 우주선(cosmic ray) 및 알파선(alpha radiation) 등의 방사선에 노출된 외부 환경에 의하여 발생하기도 한다. 불량 픽셀(bad pixel)은 정적 불량 픽셀(static bad pixel)과 동적 불량 픽셀(dynamic bad pixel)로 구분될 수 있다. 정적 불량 픽셀은 이미지 센서(200)에서 항상 고정된 위치에 있는 불량 픽셀을 말할 수 있고, 조건에 따라 변하지 않고 항상 같은 상태로 불량을 일으키는 픽셀을 말할 수 있다. 동적 불량 픽셀은 이미지 센서(200)에서 특정 조건이나 환경에서만 나타나는 불량 픽셀을 말할 수 있다. 동적 불량 픽셀은 조명, 온도, 셔터 속도 등의 다양한 조건에 따라 변하거나 특정 상황에서만 불량 픽셀로 동작할 수 있다. 일례로, 고온 환경에서 동적 불량 픽셀이 발생할 수 있으며, 셔터 스피드를 길게 설정하여 긴 노출 시간에서 촬영을 실행하는 경우 동적 불량 픽셀이 나타날 수 있다. 본 발명의 일 실시예에서 불량 픽셀은 주로 동적 불량 픽셀을 의미할 수 있다. 동적 불량 픽셀은 핫 픽셀(hot pixel)과 콜드 픽셀(cold pixel)을 포함할 수 있다. 핫 픽셀은 빛의 세기를 실제보다 강하게 감지하는 픽셀로서, 핫 픽셀로 인한 노이즈 픽셀은 이미지 데이터에서 매우 밝거나 흰색으로 나타날 수 있다. 콜드 픽셀은 빛을 제대로 감지하지 못하거나 빛의 세기를 실제보다 약하게 감지하는 픽셀로, 콜드 픽셀로 인한 노이즈 픽셀은 이미지 데이터에서 검은색이나 매우 어두운 색으로 나타날 수 있다. 일 실시예에서, 복수의 픽셀들 중에서 불량 픽셀을 검출하기 위하여 다크 이미지 테스트를 수행할 수 있다. 다크 이미지 테스트는 이미지 장치(100)에 포함되어 있는 렌즈(미도시)를 덮어서 빛이 차단한 상태에서 이미지 데이터를 생성하고, 생성된 이미지 데이터를 통해 복수의 픽셀들 중에서 빛을 감지하지 못하거나 또는 잘못된 값을 출력하는 불량 픽셀이 있는지 여부를 확인하는 테스트일 수 있다. 복수의 픽셀들 각각이 정상적으로 동