Search

JP-2026077587-A - イメージング装置及びその動作方法

JP2026077587AJP 2026077587 AJP2026077587 AJP 2026077587AJP-2026077587-A

Abstract

【課題】品質を向上させたイメージを生成するイメージング装置及びその動作方法を提供する。 【解決手段】本発明のイメージング装置は、複数のピクセルがマトリックス形状に位置するピクセルアレイを含み、ローリングシャッターモードで撮影された第１イメージデータ及びグローバルシャッターモードで撮影された第２イメージデータを出力するイメージセンサーと、第１イメージデータ及び第２イメージデータを処理し、処理の結果である第３イメージデータを出力するように構成された少なくとも１つのプロセッサと、を備える。 【選択図】図１

Inventors

  • 李 宰 圭
  • 崔 祐 碩

Assignees

  • 三星電子株式会社

Dates

Publication Date
20260513
Application Date
20251010
Priority Date
20241025

Claims (20)

  1. 複数のピクセルがマトリックス形状に位置するピクセルアレイを含み、ローリングシャッターモードで撮影された第１イメージデータ及びグローバルシャッターモードで撮影された第２イメージデータを出力するイメージセンサーと、 前記第１イメージデータ及び前記第２イメージデータを処理し、前記処理の結果である第３イメージデータを出力するように構成された少なくとも１つのプロセッサと、を備えることを特徴とするイメージング装置。
  2. 前記イメージセンサーは、前記少なくとも１つのプロセッサの１つの撮影コマンドに対応して少なくとも１つの前記第１イメージデータ及び少なくとも１つの前記第２イメージデータを出力するように構成されることを特徴とする請求項１に記載のイメージング装置。
  3. 前記イメージセンサーは、前記少なくとも１つのプロセッサの１つの撮影コマンドに基づいて前記第１イメージデータと前記第２イメージデータとを交互に出力するように構成されることを特徴とする請求項１に記載のイメージング装置。
  4. 前記第１イメージデータ及び前記第２イメージデータの各々は、前記ローリングシャッターモード及び前記グローバルシャッターモードの中のいずれか１つの撮影モードを指示する情報を含むことを特徴とする請求項１に記載のイメージング装置。
  5. 前記少なくとも１つのプロセッサは、前記第１イメージデータの少なくとも１つの第１ピクセルデータのピクセル値及び前記第２イメージデータの少なくとも１つの第２ピクセルデータのピクセル位置に基づいて前記第３イメージデータを生成するように構成されることを特徴とする請求項１に記載のイメージング装置。
  6. 前記少なくとも１つのプロセッサは、前記第１イメージデータの少なくとも１つの第１ピクセルデータの第１位置及び前記第２イメージデータの少なくとも１つの第２ピクセルデータの第２位置に基づいて前記第１位置と前記第２位置との対応関係を決定し、前記対応関係に基づいて前記第１イメージデータの少なくとも１つの第１ピクセルデータの第１位置を変換した第３位置を獲得し、前記第３位置に基づいて前記第３イメージデータを生成するように構成されることを特徴とする請求項１に記載のイメージング装置。
  7. 前記少なくとも１つのプロセッサは、２フレームの前記第１イメージデータ及び１フレームの前記第２イメージデータを処理し、前記処理の結果である前記第３イメージデータを出力するように構成されることを特徴とする請求項１に記載のイメージング装置。
  8. 前記少なくとも１つのプロセッサは、２フレームの前記第１イメージデータの間のモーションベクトルフィールドに基づいて第４イメージデータを生成し、前記第４イメージデータの少なくとも１つのピクセルデータのピクセル値及び前記第２イメージデータの少なくとも１つのピクセルデータのピクセル位置に基づいて、前記第３イメージデータの少なくとも１つのピクセルデータを生成するように構成されることを特徴とする請求項７に記載のイメージング装置。
  9. 前記イメージセンサーは、グローバルシャッターモードで第４イメージデータを更に出力するように構成され、 前記少なくとも１つのプロセッサは、前記第１イメージデータ、前記第２イメージデータ、及び前記第４イメージデータを処理し、前記処理の結果である前記第３イメージデータを出力するように構成されることを特徴とする請求項１に記載のイメージング装置。
  10. 前記少なくとも１つのプロセッサは、前記第１イメージデータ及び前記第２イメージデータを処理して前記第３イメージデータの少なくとも一部を生成し、前記第１イメージデータ及び前記第４イメージデータを処理して前記第３イメージデータの少なくとも他の一部を生成するように構成されることを特徴とする請求項９に記載のイメージング装置。
  11. 前記イメージセンサーは、前記第１イメージデータの出力前に前記第２イメージデータを出力し、前記第１イメージデータの出力後に前記第４イメージデータを出力するように構成されることを特徴とする請求項９に記載のイメージング装置。
  12. 前記少なくとも１つのプロセッサは、照度に基づいて第１モード制御コマンド及び第２モード制御コマンドの中のいずれか１つのモード制御コマンドを前記イメージセンサーに伝送するように構成され、 前記イメージセンサーは、前記第１モード制御コマンドに対応して前記第１イメージデータ及び前記第２イメージデータを出力し、前記第２モード制御コマンドに対応して前記第１イメージデータを出力するように構成され、 前記少なくとも１つのプロセッサは、前記第１モード制御コマンドが生成される照度よりも低い照度で前記第２モード制御コマンドを生成するように構成されることを特徴とする請求項１に記載のイメージング装置。
  13. 前記イメージセンサーは、前記少なくとも１つのプロセッサから受信されたプレビューコマンドに対応して前記ローリングシャッターモードで撮影された前記第１イメージデータを出力し、前記少なくとも１つのプロセッサから受信された撮影コマンドに対応して前記ローリングシャッターモードで撮影された前記第１イメージデータ及び前記グローバルシャッターモードで撮影された第２イメージデータを出力するように構成されることを特徴とする請求項１に記載のイメージング装置。
  14. 複数のピクセルがマトリックス形状に位置するピクセルアレイを含み、少なくとも１つのプロセッサから受信された１つの撮影コマンドに対応し、ローリングシャッターモードで第１イメージデータを生成し、グローバルシャッターモードで第２イメージデータを生成し、前記第１イメージデータ及び前記第２イメージデータを出力するように構成されたイメージセンサーと、 前記第１イメージデータ及び前記第２イメージデータを格納し、前記少なくとも１つのプロセッサに電気的に連結され、前記少なくとも１つのプロセッサで遂行される少なくとも１つの命令語が格納されるように構成されたメモリ装置と、 前記命令語を実行し、イメージ又は動画の撮影を指示するユーザー入力に対応して前記イメージセンサーに前記１つの撮影コマンドを伝送し、前記第２イメージデータに基づいて前記第１イメージデータの少なくとも１つのピクセルデータのピクセル位置を変更するか又は前記第１イメージデータに基づいて前記第２イメージデータの少なくとも１つのピクセルデータのピクセル値を変更して第３イメージデータを生成するように構成された少なくとも１つのプロセッサと、を備えることを特徴とするイメージング装置。
  15. 前記少なくとも１つのプロセッサは、前記第２イメージデータの少なくとも１つのピクセルデータのピクセル位置に基づいて前記第３イメージデータの少なくとも１つのピクセルデータのピクセル位置を決定するように構成されることを特徴とする請求項１４に記載のイメージング装置。
  16. 前記少なくとも１つのプロセッサは、前記第１イメージデータの少なくとも１つのピクセルデータのピクセル値に基づいて前記第３イメージデータの少なくとも１つのピクセルデータのピクセル値を決定するように構成されることを特徴とする請求項１４に記載のイメージング装置。
  17. 前記少なくとも１つのプロセッサは、前記第１イメージデータと前記第２イメージデータとの間のモーションベクトルフィールドを決定し、前記モーションベクトルフィールドに基づいて前記第３イメージデータの少なくとも１つのピクセルデータのピクセル位置を決定するように構成されることを特徴とする請求項１４に記載のイメージング装置。
  18. 前 記少なくとも１つのプロセッサは、照度に基づいて前記イメージセンサーにモード制御コマンドを伝送するように更に構成され、 前記イメージセンサーは、前記モード制御コマンドに基づいて前記第１イメージデータ及び前記第２イメージデータを生成するように構成されることを特徴とする請求項１４に記載のイメージング装置。
  19. イメージング装置の動作方法であって、 イメージ又は動画の撮影を指示するユーザー入力を受信する段階と、 少なくとも１つのプロセッサが前記ユーザー入力に対応して前記イメージ又は前記動画の撮影を指示する第１コマンドをイメージセンサーに伝送する段階と、 前記イメージセンサーが、前記第１コマンドに対応してローリングシャッターモードで第１イメージデータを生成し、前記第１イメージデータを出力する段階と、 前記イメージセンサーが、前記第１コマンドに対応してグローバルシャッターモードで第２イメージデータを生成し、前記第２イメージデータを出力する段階と、 前記少なくとも１つのプロセッサが前記第１イメージデータ及び前記第２イメージデータに基づいて第３イメージデータを生成する段階と、を有することを特徴とするイメージング装置の動作方法。
  20. 前記第１イメージデータを出力する段階は、前記第２イメージデータを出力する段階の前に遂行されるか又は前記第２イメージデータを出力する段階の後に遂行されることを特徴とする請求項１９に記載のイメージング装置の動作方法。

Description

本発明は、イメージング装置及びその動作方法に関し、より詳細には、グローバルシャッターモード及びローリングシャッターモードの各々で撮影されたイメージデータを利用して品質を向上させたイメージを生成するイメージング装置及びその動作方法に関する。 イメージセンサーは光信号を電気信号に変換する装置である。イメージング装置のプロセッサはイメージセンサーで出力されたイメージデータのイメージ信号処理を遂行してイメージデータの品質を向上させることができる。 イメージング装置は様々な環境でイメージ品質を向上させる方向に発展している。例えば、従来ローリングシャッターモードで動作するイメージセンサーを具備するイメージング装置の外にも、グローバルシャッターモードで動作するイメージセンサーを具備するイメージング装置が存在する。ローリングシャッターモードで動作するイメージセンサーが出力したイメージデータにはローリングシャッター効果（ｒｏｌｌｉｎｇ ｓｈｕｔｔｅｒ ｅｆｆｅｃｔ）が存在する。 米国特許第９７３６４０５号明細書 本発明の一実施形態によるイメージング装置を示すブロック図である。本発明の一実施形態によるイメージセンサーを示すブロック図である。本発明の一実施形態によるイメージセンサーのグローバルシャッターモードにおける動作を説明するタイミング図である。本発明の一実施形態によるイメージセンサーのローリングシャッターモードにおける動作を説明するタイミング図である。本発明の一実施形態によるピクセルグループのブロック図である。本発明の一実施形態によるピクセルグループの回路図である。本発明の一実施形態によるサブピクセルを説明する図である。本発明の一実施形態によるサブピクセルを説明する図である。本発明の一実施形態によるイメージング装置の撮影モードに応じる動作を説明する図である。本発明の一実施形態によるイメージング装置の撮影モードに応じる動作を説明する図である。本発明の一実施形態によるイメージング装置の撮影モードに応じる動作を説明する図である。本発明の一実施形態によるイメージング装置の撮影モードに応じる動作を説明する図である。本発明の一実施形態によるイメージング装置の撮影モードに応じる動作を説明する図である。本発明の一実施形態によるイメージング装置の撮影モードに応じる動作を説明する図である。本発明の一実施形態によるイメージ装置がイメージデータの合成を遂行する時に合成に使用されるイメージデータを説明する図である。本発明の一実施形態によるイメージ装置がイメージデータの合成を遂行する時に合成に使用されるイメージデータを説明する図である。本発明の一実施形態によるイメージ装置がイメージデータの合成を遂行する時に合成に使用されるイメージデータを説明する図である。図８Ａの実施形態によるイメージング装置がグローバルシャッターイメージデータとローリングシャッターイメージデータとを合成する動作を説明する図である。図８Ａの実施形態によるイメージング装置がグローバルシャッターイメージデータとローリングシャッターイメージデータとを合成する動作を説明する図である。図８Ａの実施形態によるイメージング装置がグローバルシャッターイメージデータとローリングシャッターイメージデータとを合成する動作を説明する図である。図８Ａの実施形態によるイメージング装置がグローバルシャッターイメージデータとローリングシャッターイメージデータとを合成する動作を説明する図である。図８Ａの実施形態によるイメージング装置がグローバルシャッターイメージデータとローリングシャッターイメージデータとを合成する動作を説明する図である。図８Ｂの実施形態によるイメージング装置がグローバルシャッターイメージデータとローリングシャッターイメージデータとを合成する動作を説明する図である。図８Ｃの実施形態によるイメージング装置がグローバルシャッターイメージデータとローリングシャッターイメージデータとを合成する動作を説明する図である。図８Ｃの実施形態によるイメージング装置がグローバルシャッターイメージデータとローリングシャッターイメージデータとを合成する動作を説明する図である。本発明の一実施形態によるイメージセンサーを説明するブロック図である。本発明の一実施形態によるイメージセンサーを説明するブロック図である。本発明の一実施形態によるイメージング装置を説明するブロック図である。本発明の一実施形態によるイメージング装置の動作方法を説明するフローチャートである。 以下で、本発明を実施するための形態の具体例を、図面を参照しながら詳細に説明する。 本明細書で、第１、第２、第３、第４等のような用語が様々な要素、構成、領域、層、及び／又は部分（以下、通称して“要素”）を指称するために使用されても、このような用語によって要素が限定されてはならない。このような用語は単なる１つの要素を他の要素と区別するために使用されたものである。したがって、本明細書の説明部分で第１要素として指称されたことが請求項の部分では第２要素として指称されることがあり、その反対の場合にも本発明の技術的思想から逸脱するものではない。 本明細書で、所定の要素又は層が他の要素又は層の“上部に（ｏｖｅｒ）”、“上に（ａｂｏｖｅ）”、“上面に（ｏｎ）”、“下部に（ｂｅｌｏｗ）”、“下に（ｕｎｄｅｒ）”、“下に（ｂｅｎｅａｔｈ）”、“連結されて（ｃｏｎｎｅｃｔｅｄ ｔｏ）”、又は“結合されて（ｃｏｕｐｌｅｄ ｔｏ）”あると言及する場合、これは該当要素又は層が他の要素又は層に直接位置するか、連結されるか、又は中間に他の要素や層が介在することがあることを意味する。反面、所定の要素が他の要素又は層に“直接上部に（ｄｉｒｅｃｔｌｙ ｏｖｅｒ）”、“直接上に（ｄｉｒｅｃｔｌｙ ａｂｏｖｅ）”、“直接上面に（ｄｉｒｅｃｔｌｙ ｏｎ）”、“直接下部に（ｄｉｒｅｃｔｌｙ ｂｅｌｏｗ）”、“直接下に（ｄｉｒｅｃｔｌｙ ｕｎｄｅｒ）”、“直接下に（ｄｉｒｅｃｔｌｙ ｂｅｎｅａｔｈ）”、“直接連結されて（ｄｉｒｅｃｔｌｙ ｃｏｎｎｅｃｔｅｄ ｔｏ）”、又は“直接結合されて（ｄｉｒｅｃｔｌｙ ｃｏｕｐｌｅｄ ｔｏ）”あると言及する場合には、中間に他の要素や層が存在しないことを意味する。 本明細書で、“少なくとも１つの”という表現が複数の要素を列挙する前部分に使用される場合、これは列挙された各個別要素ではない全体項目に対する数式を意味する。例えば、“少なくとも１つのａ、ｂ、及びｃ”という表現はａのみが含まれる場合、ｂのみが含まれる場合、ｃのみが含まれる場合、ａ及びｂが含まれる場合、ａ及びｃが含まれる場合、ｂ及びｃが含まれる場合、又はａ、ｂ、及びｃの全てが含まれる場合を全て含むものとして理解されなければならない。 図１は、本発明の一実施形態によるイメージング装置１０を例示的に示すブロック図である。 本実施形態によるイメージング装置１０はイメージセンサー１００がグローバルシャッターモード及びローリングシャッターモードの各々で撮影されたイメージデータを処理してローリングシャッター効果を減少させたイメージを生成する。 本明細書で、グローバルシャッターイメージデータは、イメージセンサー１００がグローバルシャッターモードで動作して出力したイメージデータを意味する。ローリングシャッターイメージデータは、イメージセンサー１００がローリングシャッターモードで動作して出力したイメージデータを意味する。 イメージング装置１０は、イメージセンサー１００及びプロセッサ２００を含む。 本実施形態によるイメージセンサー１００は、グローバルシャッターモード及びローリングシャッターモードの中のいずれか１つで動作する。一実施形態で、イメージセンサー１００はプロセッサ２００の１つの命令語ＣＭＤに基づいて、グローバルシャッターモードとローリングシャッターモードとで交互に動作する。 例えば、イメージセンサー１００はプロセッサ２００から静止イメージの撮影を指示する第１コマンドに基づいて、ローリングシャッターモードで動作して少なくとも１フレームのローリングシャッターイメージデータＩＤＴ１を出力した後、再びグローバルシャッターモードで動作して少なくとも１フレームのグローバルシャッターイメージデータＩＤＴ２を出力する。又は、イメージセンサー１００は、その反対の順序で、少なくとも１フレームのグローバルシャッターイメージデータＩＤＴ２を出力した後、再び少なくとも１フレームのローリングシャッターイメージデータＩＤＴ１を出力する。 或いは、例えばイメージセンサー１００はプロセッサ２００から動画の撮影を指示する第２コマンドに基づいて、ローリングシャッターモードで動作して少なくとも１フレームのローリングシャッターイメージデータＩＤＴ１を出力した後、再びグローバルシャッターモードで動作して少なくとも１フレームのグローバルシャッターイメージデータＩＤＴ２を出力する。 イメージセンサー１００はローリングシャッターイメージデータＩＤＴ１及びグローバルシャッターイメージデータＩＤＴ２をプロセッサ２００に直接的又は間接的に伝送する。例えば、イメージセンサー１００はイメージデータをプロセッサ２００に連結される通信ラインを通じて直接的に伝送するか又は別のインターフェイス装置に伝送する。別のインターフェイス装置に伝送されたイメージデータはメモリ装置に格納され、プロセッサ２００はイメージデータをメモリ装置からローディングしてイメージデータを処理する。 イメージセンサー１００は同一なピクセルに基づいてローリングシャッターイメージデータＩＤＴ１及びグローバルシャッターイメージデータＩＤＴ２を生成する。例えば、少なくともいずれか１つのピクセルは、ローリングシャッターモードで動作してローリングシャッターイメージデータＩＤＴ１を生成するためのピクセル信号を出力し、グローバルシャッターモードで動作してグローバルシャッターイメージデータＩＤＴ２を生成するためのピクセル信号を出力する、。 一実施形態で、ローリングシャッターイメージデータＩＤＴ１はローリングシャッターモードで撮影されたことを示すメタ情報を含む。グローバルシャッターイメージデータＩＤＴ２はグローバルシャッターモードで撮影されたことを示すメタ情報を含む。したがって、プロセッサ２００は受信されたイメージデータがローリングシャッターイメージデータＩＤＴ１であるか又はグローバルシャッターイメージデータＩＤＴ２であるかを確認することができる。 プロセッサ２００は、イメージセンサー１００が出力したローリングシャッターイメージデータＩＤＴ１及びグローバルシャッターイメージデータＩＤＴ２を処理し、処理の結果であるイメージデータＩＤＴ３を生成する。一実施形態で、プロセッサ２００は、ローリングシャッターイメージデータＩＤＴ１とグローバルシャッターイメージデータＩＤＴ２とを合成し、合成の結果であるイメージデータＩＤＴ３を生成する。 本明細書で、複数のイメージデータを合成することは、いずれか１つのイメージデータの情報と他のイメージデータの情報とを利用して、合成されたイメージデータの少なくとも１つのピクセルデータを生成することを意味する。イメージデータは複数のピクセルデータを含む。ピクセルデータを生成するために、プロセッサ２００は複数のイメージデータの中の少なくとも１つのイメージデータを利用して合成されたイメージデータのピクセルデータのピクセル値を決定する。又は、プロセッサ２００は複数のイメージデータの中の少なくとも１つのイメージデータを利用して合成されたイメージデータのピクセル位置を決定する。ピクセル位置はイメージフレームでピクセルデータの位置及び／又はイメージデータでピクセルデータの順序を意味する。 本実施形態によるイメージング装置１０は