KR-20260060922-A - IMAGING APPARATUS AND OPERATING METHOD OF IMAGING APPARATUS

Abstract

본 발명의 실시 예에 따른 이미징 장치는 복수의 픽셀들이 매트릭스 형태로 위치하는 픽셀 어레이를 포함하고, 롤링 셔터 모드에서 촬영된 제1 이미지 데이터, 및 글로벌 셔터 모드에서 촬영된 제2 이미지 데이터를 출력하는 이미지 센서, 및 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터를 처리하고, 상기 처리의 결과인 제3 이미지 데이터를 출력하는 프로세서를 포함할 수 있다.

Inventors

• 이재규
• 최우석

Assignees

• 삼성전자주식회사

Dates

Publication Date

20260506

Application Date

20241025

Claims (20)

1. 복수의 픽셀들이 매트릭스 형태로 위치하는 픽셀 어레이를 포함하고, 롤링 셔터 모드에서 촬영된 제1 이미지 데이터, 및 글로벌 셔터 모드에서 촬영된 제2 이미지 데이터를 출력하는 이미지 센서; 및 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터를 처리하고, 상기 처리의 결과인 제3 이미지 데이터를 출력하는 프로세서를 포함하는, 이미징 장치.
2. 제1 항에 있어서, 상기 이미지 센서는, 상기 프로세서의 하나의 촬영 커맨드에 대응하여, 적어도 하나의 상기 제1 이미지 데이터 및 적어도 하나의 상기 제2 이미지 데이터를 출력하는, 이미징 장치.
3. 제1 항에 있어서, 상기 이미지 센서는, 상기 프로세서의 하나의 촬영 커맨드에 대응하여, 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터를 번갈아 출력하는, 이미징 장치.
4. 제1 항에 있어서, 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터 각각은, 롤링 셔터 모드 및 글로벌 셔터 모드 중 어느 하나의 촬영 모드를 지시하는 정보를 포함하는, 이미징 장치.
5. 제1 항에 있어서, 상기 프로세서는, 상기 제1 이미지 데이터의 적어도 하나의 제1 픽셀 데이터의 픽셀 값, 및 상기 제2 이미지 데이터의 적어도 하나의 제2 픽셀 데이터의 픽셀 위치에 기초하여, 상기 제3 이미지 데이터를 생성하는, 이미징 장치.
6. 제1 항에 있어서, 상기 프로세서는, 상기 제1 이미지 데이터의 적어도 하나의 제1 픽셀 데이터의 제1 위치와, 상기 제2 이미지 데이터의 적어도 하나의 제2 픽셀 데이터의 제2 위치에 기초하여, 상기 제1 위치와 상기 제2 위치의 대응 관계를 결정하고, 상기 대응 관계에 기초하여 상기 제1 이미지 데이터의 상기 적어도 하나의 픽셀 데이터의 상기 제1 위치를 변환한 제3 위치를 계산하고, 상기 제3 위치에 기초하여 상기 제3 이미지 데이터를 생성하는, 이미징 장치.
7. 제1 항에 있어서, 상기 프로세서는, 두 프레임의 상기 제1 이미지 데이터, 및 한 프레임의 상기 제2 이미지 데이터를 처리하고, 상기 처리의 결과인 상기 제3 이미지 데이터를 출력하는, 이미징 장치.
8. 제7 항에 있어서, 상기 프로세서는, 상기 두 프레임의 제1 이미지 데이터 사이의 모션벡터 필드에 기초하여 제4 이미지 데이터를 생성하고, 상기 제4 이미지 데이터의 적어도 하나의 픽셀 데이터의 픽셀 값, 및 상기 제2 이미지 데이터의 적어도 하나의 픽셀 데이터의 픽셀 위치에 기초하여, 상기 제3 이미지 데이터의 적어도 하나의 픽셀 데이터를 생성하는, 이미징 장치.
9. 제1 항에 있어서, 상기 이미지 센서는, 글로벌 셔터 모드에서 제3 이미지 데이터를 더 출력하고, 상기 프로세서는, 상기 제1 이미지 데이터, 상기 제2 이미지 데이터, 및 상기 제3 이미지 데이터를 처리하고, 상기 처리의 결과인 상기 제3 이미지 데이터를 출력하는, 이미징 장치.
10. 제9 항에 있어서, 상기 프로세서는, 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터를 처리하여, 상기 제3 이미지 데이터의 적어도 일부를 생성하고, 상기 제1 이미지 데이터 및 상기 제3 이미지 데이터를 처리하여, 상기 제3 이미지 데이터의 적어도 다른 일부를 생성하는, 이미징 장치.
11. 제9 항에 있어서, 상기 이미지 센서는, 상기 제1 이미지 데이터의 출력 전에 상기 제2 이미지 데이터를 출력하고, 상기 제1 이미지 데이터의 출력 후에 상기 제3 이미지 데이터를 출력하는, 이미징 장치.
12. 제1 항에 있어서, 상기 프로세서는, 조도에 기초하여 제1 모드 제어 커맨드 및 제2 모드 제어 커맨드 중 어느 하나의 상기 모드 제어 커맨드를 상기 이미지 센서에 전송하고, 상기 이미지 센서는, 상기 제1 모드 제어 커맨드에 대응하여 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터를 출력하고, 상기 제2 모드 제어 커맨드에 대응하여 상기 제1 이미지 데이터를 출력하고, 상기 프로세서는, 상기 제1 모드 제어 커맨드가 생성되는 조도보다 낮은 조도에서, 상기 제2 모드 제어 커맨드를 생성하는, 이미징 장치.
13. 제1 항에 있어서, 상기 이미지 센서는, 상기 프로세서로부터 수신된 프리뷰 커맨드에 대응하여 롤링 셔터 모드에서 촬영된 상기 제1 이미지 데이터를 출력하고, 상기 프로세서로부터 수신된 촬영 커맨드에 대응하여 롤링 셔터 모드에서 촬영된 상기 제1 이미지 데이터, 및 글로벌 셔터 모드에서 촬영된 제2 이미지 데이터를 출력하는, 이미징 장치.
14. 복수의 픽셀들이 매트릭스 형태로 위치하는 픽셀 어레이를 포함하고, 프로세서로부터 수신된 하나의 촬영 커맨드에 대응하여, 롤링 셔터 모드에서 제1 이미지 데이터를 생성하고, 글로벌 셔터 모드에서 제2 이미지 데이터를 생성하고, 상기 제1 이미지 데이터, 및 상기 제2 이미지 데이터를 출력하는 이미지 센서; 상기 제1 이미지 데이터, 및 상기 제2 이미지 데이터를 저장하고, 상기 프로세서와 전기적으로 연결되고, 상기 프로세서에서 수행되는 적어도 하나의 명령어가 저장되는 메모리 장치; 및 상기 명령어를 실행하여, 이미지 또는 동영상의 촬영을 지시하는 사용자 입력에 대응하여 상기 이미지 센서로 상기 하나의 촬영 커맨드를 전송하고, 상기 제2 이미지 데이터에 기초하여 상기 제1 이미지 데이터의 적어도 하나의 픽셀 데이터의 픽셀 위치를 변경하거나, 상기 제1 이미지 데이터에 기초하여 상기 제2 이미지 데이터의 적어도 하나의 픽셀 데이터의 픽셀 값을 변경하여 제3 이미지 데이터를 생성하도록 구성된 프로세서를 포함하는, 이미징 장치.
15. 제14 항에 있어서, 상기 프로세서는, 상기 제2 이미지 데이터의 적어도 하나의 픽셀 데이터의 픽셀 위치에 기초하여, 상기 제3 이미지 데이터의 적어도 하나의 픽셀 데이터의 픽셀 위치를 결정하도록 구성된, 이미징 장치.
16. 제14 항에 있어서, 상기 프로세서는, 상기 제1 이미지 데이터의 적어도 하나의 픽셀 데이터의 픽셀 값에 기초하여, 상기 제3 이미지 데이터의 적어도 하나의 픽셀 데이터의 픽셀 값을 결정하도록 구성된, 이미징 장치.
17. 제14 항에 있어서, 상기 프로세서는, 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터 사이의 모션 벡터 필드를 결정하고, 상기 모션 벡터 필드에 기초하여 상기 제3 이미지 데이터의 적어도 하나의 픽셀 데이터의 픽셀 위치를 결정하도록 구성된, 이미징 장치.
18. 제14 항에 있어서, 상기 프로세서는, 조도에 기초하여, 상기 이미지 센서로 모드 제어 커맨드를 더 전송하고, 상기 이미지 센서는, 상기 모드 제어 커맨드에 기초하여, 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터를 생성하는, 이미징 장치.
19. 이미지 또는 동영상의 촬영을 지시하는 사용자 입력을 수신하는 단계; 프로세서가, 상기 사용자 입력에 대응하여, 이미지 또는 동영상의 촬영을 지시하는 제1 커맨드를 이미지 센서에 전송하는 단계; 상기 이미지 센서가, 상기 제1 커맨드에 대응하여, 롤링 셔터 모드에서 제1 이미지 데이터를 생성하고, 상기 제1 이미지 데이터를 출력하는 단계; 상기 이미지 센서가, 상기 제1 커맨드에 대응하여, 글로벌 셔터 모드에서 제2 이미지 데이터를 생성하고, 상기 제2 이미지 데이터를 출력하는 단계; 및 상기 프로세서가, 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터에 기초하여 제3 이미지 데이터를 생성하는 단계를 포함하는, 이미징 장치의 동작 방법.
20. 제19 항에 있어서, 상기 이미지 센서는, 상기 제1 이미지 데이터를 출력하는 단계를 상기 제2 이미지 데이터를 출력하는 단계 이전에 수행하거나, 상기 제1 이미지 데이터를 출력하는 단계를 상기 제2 이미지 데이터를 출력하는 단계 이후에 수행하는, 이미징 장치의 동작 방법.

Description

이미징 장치 및 이미징 장치의 동작 방법{IMAGING APPARATUS AND OPERATING METHOD OF IMAGING APPARATUS} 본 발명의 실시 예들은 이미징 장치 및 이미징 장치의 동작 방법에 관한 것이다. 상세하게는, 글로벌 이며, 더욱 상세하게는, 글로벌 셔터 모드 및 롤링 셔터 모드 각각에서 촬영된 이미지 데이터를 이용하여 품질이 향상된 이미지를 생성하는 이미징 장치 및 이미징 장치의 동작 방법에 관한 것이다. 이미지 센서는 광 신호를 전기 신호로 변환시키는 장치이다. 이미징 장치의 프로세서는 이미지 센서에서 출력된 이미지 데이터의 이미지 신호 처리를 수행하여 이미지 데이터의 품질을 향상시킬 수 있다. 이미징 장치는 다양한 환경에서 이미지 품질을 향상시키는 방향으로 발전하고 있다. 예를 들어, 종래 롤링 셔터 모드로 동작하는 이미지 센서를 구비한 이미징 장치 이외에도, 글로벌 셔터 모드로 동작하는 이미지 센서를 구비한 이미징 장치가 존재한다. 롤링 셔터 모드로 동작하는 이미지 센서가 출력한 이미지 데이터에는 롤링 셔터 효과(rolling shutter effect)가 존재할 수 있다. 도 1은 본 발명의 일 실시 예에 따른 이미징 장치를 보여주는 도면이다. 도 2는 본 발명의 일 실시 예에 따른 이미지 센서를 보여주는 도면이다. 도 3a 및 도 3b는 본 발명의 일 실시 예에 따른 이미지 센서의 글로벌 셔터 모드 및 롤링 셔터 모드에서의 동작들을 설명하는 타이밍도들이다. 도 4는 본 발명의 일 실시 예에 따른 픽셀 그룹의 블록도이다. 도 5는 본 발명의 일 실시 예에 따른 픽셀 그룹의 회로도이다. 도 6a 및 도 6b는 본 발명의 실시 예들에 따른 서브 픽셀들을 설명하는 도면들이다. 도 7a 내지 도 7f는 본 발명의 실시 예들에 따른 이미징 장치의 촬영 모드에 따른 동작들을 설명하는 도면이다. 도 8a 내지 도 8c는 본 발명의 실시 예에 따른 이미지 장치가 이미지 데이터들의 합성을 수행 시, 합성에 사용되는 이미지 데이터들을 설명하는 도면이다. 도 9a 내지 도 9e는 도 8a의 실시 예에 따른 이미징 장치가 글로벌 셔터 이미지 데이터와 롤링 셔터 이미지 데이터들을 합성하는 동작을 설명하는 도면들이다. 도 10은 도 8b의 실시 예에 따른 이미징 장치가 글로벌 셔터 이미지 데이터와 롤링 셔터 이미지 데이터들을 합성하는 동작을 설명하는 도면이다. 도 11a 및 도 11b는 도 8c의 실시 예에 따른 이미징 장치가 글로벌 셔터 이미지 데이터와 롤링 셔터 이미지 데이터들을 합성하는 동작을 설명하는 도면들이다. 도 12는 본 발명의 일 실시 예에 따른 이미지 센서를 설명하는 블록도이다. 도 13은 본 발명의 일 실시 예에 따른 이미지 센서를 설명하는 블록도이다. 도 14는 본 발명의 일 실시 예에 따른 이미징 장치를 설명하는 블록도이다. 도 15는 본 발명의 일 실시 예에 따른 이미징 장치의 동작 방법을 설명하는 흐름도이다. 이하에서, 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로, 본 발명의 실시 예들이 명확하고 상세하게 기재될 것이다. 도 1은 본 발명의 일 실시 예에 따른 이미징 장치(10)를 예시적으로 보여주는 블록도이다. 본 발명의 일 실시 예에 따른 이미징 장치(10)는 이미지 센서(100)가 글로벌 셔터 모드 및 롤링 셔터 모드 각각에서 촬영된 이미지 데이터들을 처리하여 롤링 셔터 효과가 감소된 이미지를 생성할 수 있다. 본 명세서에서, 글로벌 셔터 이미지 데이터는, 이미지 센서(100)가 글로벌 셔터 모드로 동작하여 출력한 이미지 데이터를 의미한다. 롤링 셔터 이미지 데이터는, 이미지 센서(100)가 롤링 셔터 모드로 동작하여 출력한 이미지 데이터를 의미한다. 이미징 장치(10)는, 이미지 센서(100) 및 프로세서(200)를 포함할 수 있다. 본 발명의 실시 예에 따른 이미지 센서(100)는, 글로벌 셔터 모드 및 롤링 셔터 모드 중 어느 하나로 동작할 수 있다. 일 실시 예에서, 이미지 센서(100)는 프로세서(200)의 하나의 명령어(CMD)에 기초하여, 글로벌 셔터 모드와 롤링 셔터 모드로 번갈아 동작할 수 있다. 예를 들어, 이미지 센서(100)는 프로세서(200)로부터 정지 이미지의 촬영을 지시하는 제1 커맨드에 기초하여, 롤링 셔터 모드로 동작하여 적어도 한 프레임의 롤링 셔터 이미지 데이터(IDT1)를 출력한 후, 다시 글로벌 셔터 모드로 동작하여 적어도 한 프레임의 글로벌 셔터 이미지 데이터(IDT2)를 출력할 수 있다. 또는 이미지 센서(100)는 그 반대의 순서로, 적어도 한 프레임의 글로벌 셔터 이미지 데이터(IDT2)를 출력한 후, 다시 적어도 한 프레임의 롤링 셔터 이미지 데이터(IDT1)를 출력할 수 있다. 또는, 예를 들어, 이미지 센서(100)는 프로세서(200)로부터 동영상의 촬영을 지시하는 제2 커맨드에 기초하여, 롤링 셔터 모드로 동작하여 적어도 한 프레임의 롤링 셔터 이미지 데이터(IDT1)를 출력한 후, 다시 글로벌 셔터 모드로 동작하여 적어도 한 프레임의 글로벌 셔터 이미지 데이터(IDT2)를 출력할 수 있다. 이미지 센서(100)는 롤링 셔터 이미지 데이터(IDT1) 및 글로벌 셔터 이미지 데이터(IDT2)는 프로세서(200)에 직접적 또는 간접적으로 전송할 수 있다. 예를 들어, 이미지 센서(100)는 이미지 데이터를 프로세서(200)에 연결되는 통신 라인을 통하여 직접적으로 전송하거나, 별도의 인터페이스 장치에 전송할 수 있다. 별도의 인터페이스 장치에 전송된 이미지 데이터는 메모리 장치에 저장되고, 프로세서(200)는 이미지 데이터를 메모리 장치로부터 로딩하고, 이미지 데이터를 처리할 수 있다. 이미지 센서(100)는 동일한 픽셀들에 기초하여 롤링 셔터 이미지 데이터(IDT1) 및 글로벌 셔터 이미지 데이터(IDT2)를 생성할 수 있다. 예를 들어, 적어도 어느 하나의 픽셀은 롤링 셔터 모드로 동작하여 롤링 셔터 이미지 데이터(IDT1)를 생성하기 위한 픽셀 신호를 출력할 수 있고, 글로벌 셔터 모드로 동작하여 글로벌 셔터 이미지 데이터(IDT2)를 생성하기 위한 픽셀 신호를 출력할 수 있다. 일 실시 예에서, 롤링 셔터 이미지 데이터(IDT1)는 롤링 셔터 모드에서 촬영된 것을 지시하는 메타 정보를 포함할 수 있다. 글로벌 셔터 이미지 데이터(IDT2)는 글로벌 셔터 모드에서 촬영된 것을 지시하는 메타 정보를 포함할 수 있다. 따라서, 프로세서(200)는 수신된 이미지 데이터가 롤링 셔터 이미지 데이터(IDT1)인지 글로벌 셔터 이미지 데이터(IDT2)인지 확인할 수 있다. 프로세서(200)는 이미지 센서(100)가 출력한 롤링 셔터 이미지 데이터(IDT1) 및 글로벌 셔터 이미지 데이터(IDT2)를 처리하고, 처리의 결과인 이미지 데이터(IDT3)를 생성할 수 있다. 일 실시 예에서, 프로세서(200)는 롤링 셔터 이미지 데이터(IDT1)와 글로벌 셔터 이미지 데이터(IDT2)를 합성하고, 합성의 결과인 이미지 데이터(IDT3)를 생성할 수 있다. 본 명세서에서 복수의 이미지 데이터들을 합성하는 것은 어느 한 이미지 데이터의 정보와 다른 이미지 데이터의 정보를 이용하여, 합성된 이미지 데이터의 적어도 하나의 픽셀 데이터를 생성하는 것을 의미할 수 있다. 이미지 데이터는 복수의 픽셀 데이터들을 포함할 수 있다. 픽셀 데이터를 생성하기 위하여, 프로세서(200)는 복수의 이미지 데이터들 중 적어도 하나의 이미지 데이터를 이용하여 합성된 이미지 데이터의 픽셀 데이터의 픽셀 값을 결정할 수 있다. 또는, 프로세서(200)는 복수의 이미지 데이터들 중 적어도 하나의 이미지 데이터를 이용하여 합성된 이미지 데이터의 픽셀 위치를 결정할 수 있다. 픽셀 위치는 이미지 프레임에서 픽셀 데이터의 위치 및/또는 이미지 데이터에서 픽셀 데이터의 순서를 의미할 수 있다. 본 발명의 실시 예에 따른 이미징 장치(10)는 동일한 이미지 센서(100)에서 출력한 롤링 셔터 이미지 데이터(IDT1)와 글로벌 셔터 이미지 데이터(IDT2)를 합성할 수 있다. 합성된 이미지 데이터(IDT3)는 롤링 셔터 이미지 데이터(IDT1)에 비하여 롤링 셔터 효과가 작을 수 있다. 또한, 합성된 이미지 데이터(IDT3)는 글로벌 셔터 이미지 데이터(IDT2)에 비하여 노이즈가 적을 수 있다. 따라서, 이미징 장치(10)는 품질이 향상된 이미지 데이터를 출력할 수 있다. 도 2는 본 발명의 일 실시 예에 따른 이미지 센서(100)를 예시적으로 보여주는 블록도이다. 본 발명의 실시 예에 따른 이미지 센서(100)는 촬영 모드 제어 신호(MC)에 기초하여, 글로벌 셔터 모드 및 롤링 셔터 모드 중 어느 하나로 동작할 수 있다. 일 실시 예에서, 이미지 센서(100)의 픽셀 그룹(PXG) 각각은 글로벌 셔터 모드 및 롤링 셔터 모드 각각에서 픽셀 신호를 출력할 수 있다. 픽셀 그룹(PXG) 각각은 롤링 셔터 모드에서 픽셀 신호를 출력 라인으로 출력하기 위한 롤링 셔터 회로와, 글로벌 셔터 모드에서 픽셀 신호를 출력 라인으로 출력하기 위한 글로벌 셔터 회로를 별개로 포함할 수 있다. 일 실시 예에서, 픽셀 그룹(PXG) 각각은 복수의 픽셀들을 포함하고, 복수의 픽셀들 중 적어도 일부는 픽셀 회로를 공유할 수 있다. 일 실시 예에서, 이미지 센서(100)의 픽셀 그룹(PXG) 각각과 연결된 출력 라인들 중, 롤링 셔터 모드에서 픽셀 신호가 출력되는 출력 라인과 글로벌 셔터 모드에서 픽셀 신호가 출력되는 출력 라인은 서로 다를 수 있다. 도 2를 참조하여 이미지 센서(100)를 자세히 설명한다. 이미지 센서(100)는 렌즈를 통해 촬상된 물체의 시각적 정보인 이미지 데이터를 생성하고, 이미지 신호 프로세서(미도시)는 이미지 센서(100)에 의해 생성된 이미지 데이터를 처리하여 디스플레이 장치로 출력하거나 저장 장치에 저장하도록 구현될 수 있다. 이미지 센서(100)는 픽셀 어레이(110), 로우 드라이버(120), 타이밍 컨트롤러(130), 램프 신호 생성기(140), 독출 회로(150), 및 출력 버퍼(160)를 포함할 수 있다. 픽셀 어레이(110)는 복수의 픽셀 그룹들(PXG)을 포함