JP-2026077817-A - 処理装置、撮像装置、処理方法、及び処理プログラム

JP2026077817AJP 2026077817 AJP2026077817 AJP 2026077817AJP-2026077817-A

Abstract

【課題】処理装置、撮像装置、処理方法、及び処理プログラムを提供する。【解決手段】デジタルカメラ１００は、光を電気信号に変換して出力する画素３１が配置された画素部３０と周辺回路６０とを含む撮像素子５Ａから出力される撮像信号を処理するシステム制御部１１と、メモリ１６と、を備え、システム制御部１１は、上記撮像信号を周辺回路６０の作動状態に基づいて補正する。【選択図】図２

Inventors

浦西泰樹
小林誠

Assignees

富士フイルム株式会社

Dates

Publication Date: 20260513
Application Date: 20260218

Claims (18)

光を電気信号に変換して出力する画素が配置された画素部及び前記画素部の周辺回路から出力される撮像信号を処理するプロセッサと、少なくとも前記プロセッサが実行するプログラムを記憶するメモリと、を備え、前記プロセッサは、前記周辺回路の内の作動している素子の割合である周辺回路の活性化率を含む前記周辺回路の作動状態に基づいて、前記撮像信号を補正する、処理装置。
請求項１に記載の処理装置であって、前記プロセッサは、前記周辺回路の作動状態に基づいて前記撮像信号の補正方法を変更する、処理装置。
請求項１又は２に記載の処理装置であって、前記プロセッサは、前記周辺回路の作動状態に基づいて前記撮像信号の補正に用いる補正データを変更する、処理装置。
請求項１から３のいずれか１項に記載の処理装置であって、前記周辺回路は、前記画素の出力信号を処理してデジタルの前記撮像信号として出力する処理回路を含む、処理装置。
請求項４に記載の処理装置であって、前記周辺回路は、複数の前記処理回路が一方向に配置された処理回路群を含み、前記プロセッサは、前記処理回路群において作動する前記処理回路の位置に基づいて、前記撮像信号の補正方法を変更する、処理装置。
請求項４又は５に記載の処理装置であって、前記周辺回路は、複数の前記処理回路が一方向に配置された処理回路群を複数個含み、前記プロセッサは、前記複数個の前記処理回路群のうちの作動している処理回路群の数に基づいて、前記撮像信号の補正方法を変更する、処理装置。
請求項４から６のいずれか１項に記載の処理装置であって、前記プロセッサは、前記処理回路の動作周波数に基づいて、前記撮像信号の補正方法を変更する、処理装置。
請求項１から７のいずれか１項に記載の処理装置であって、前記周辺回路は、前記画素から出力されるアナログの出力信号をデジタル信号に変換する変換回路を含む、処理装置。
請求項８に記載の処理装置であって、前記周辺回路の作動状態とは、前記変換回路の出力に対する処理を行う回路の活性化率を含む、処理装置。
請求項８又は９に記載の処理装置であって、前記プロセッサは、前記変換回路に設定されている分解能に基づいて、前記撮像信号の補正方法を変更する、処理装置。
請求項８から１０のいずれか１項に記載の処理装置であって、前記プロセッサは、前記変換回路におけるデジタル変換に要する時間に基づいて、前記撮像信号の補正方法を変更する、処理装置。
請求項１から１１のいずれか１項に記載の処理装置であって、前記プロセッサは、前記周辺回路のブランキング期間の長さに基づいて、前記撮像信号の補正方法を変更する、処理装置。
請求項１から１２のいずれか１項に記載の処理装置であって、前記周辺回路は、前記画素部の出力信号を記憶する記憶回路を含む、処理装置。
請求項１３に記載の処理装置であって、前記プロセッサは、前記記憶回路の作動時と非作動時とで、前記撮像信号の補正方法を変更する、処理装置。
請求項１から１４のいずれか１項に記載の処理装置であって、前記補正は、暗時ムラ補正である、処理装置。
請求項１から１５のいずれか１項に記載の処理装置と、前記画素部及び前記周辺回路と、を備える撮像装置。
光を電気信号に変換して出力する画素が配置された画素部及び前記画素部の周辺回路から出力される撮像信号を処理する処理方法であって、前記周辺回路の内の作動している素子の割合である周辺回路の活性化率を含む前記周辺回路の作動状態に基づいて、前記撮像信号を補正する、処理方法。
光を電気信号に変換して出力する画素が配置された画素部及び前記画素部の周辺回路から出力される撮像信号を処理する処理プログラムであって、前記周辺回路の内の作動している能動素子の割合である周辺回路の活性化率を含む前記周辺回路の作動状態に基づいて、前記撮像信号を補正するステップをプロセッサに実行させる処理プログラム。

Description

本発明は、処理装置、撮像装置、処理方法、及び処理プログラムに関する。特許文献１には、開口画素領域及び遮光画素領域を有する撮像素子と、上記撮像素子から画素データを読み出す読み出し手段と、上記読み出し手段によって上記撮像素子の遮光画素領域から読み出される画素データから、上記画素データの各列に対応した一次元ダークシェーディング補正データを算出する算出手段と、上記読み出し手段によって上記撮像素子の開口画素領域から画素データを読み出している時に、上記算出手段により算出される一次元ダークシェーディング補正データを用いて上記撮像素子の一次元ダークシェーディングを補正する補正手段とを有する画像データ補正装置が記載されている。特許文献２には、１つのマイクロレンズ内に複数の光電変換素子を含み、この光電変換素子ごとに転送手段を有する画素部と、１行の画素のデータを転送するために上記１行を選択するための行走査回路と、上記行走査回路により読みだした１行のデータを列毎に読みだすための列走査回路と、上記列走査回路の読み出し間引き率を制御する間引き制御回路と、読みだされたデータに基づいてダークシェーディングの補正値を生成する補正値生成手段と、生成された補正値を記憶する記憶手段と、生成された上記補正値に基づいて画素の信号を補正する補正手段とを備え、上記補正値生成手段は、１つのマイクロレンズに対応する一部の光電変換素子のデータを読み出す際に、間引き量が少ない、または間引きをしないで読み出したデータから、読み出しの間引き率に応じた補正値を生成することを特徴とする撮像装置が記載されている。特開２００７－３３６３４３号公報特開２０１５－０８０１１４号公報本発明の撮像装置の一実施形態であるデジタルカメラ１００の概略構成を示す図である。撮像素子５Ａの概略構成を示す模式図である。撮像素子５Ｂの概略構成を示す模式図である。撮像素子５Ｃの概略構成を示す模式図である。撮像素子５Ｄの概略構成を示す模式図である。撮像素子５Ａの画素行から出力される画素信号の水平シェーディングを説明するための模式図である。撮像素子５Ｂから出力される画素信号のシェーディングを説明するための模式図である。撮像素子５Ｄから出力される画素信号の暗時出力レベルを説明するための模式図である。撮像素子５Ａの作動時の基準電位の変化を説明するための模式図である。スマートフォン２００の外観を示すものである。図１０に示すスマートフォン２００の構成を示すブロック図である。図１は、本発明の撮像装置の一実施形態であるデジタルカメラ１００の概略構成を示す図である。図１に示すデジタルカメラ１００は、撮像レンズ１、絞り２、レンズ制御部４、レンズ駆動部８、及び絞り駆動部９を有するレンズ装置４０と、本体部１００Ａと、を備える。本体部１００Ａは、撮像素子５と、システム制御部１１と、操作部１４と、表示装置２２と、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read only memory）等を含むメモリ１６と、メモリ１６へのデータ記録及びメモリ１６からのデータ読み出しの制御を行うメモリ制御部１５と、デジタル信号処理部１７と、記録媒体２１へのデータ記録及び記録媒体２１からのデータ読み出しの制御を行う外部メモリ制御部２０と、を備える。システム制御部１１とメモリ１６によって処理装置が構成される。レンズ装置４０は、本体部１００Ａに着脱可能なものであってもよいし、本体部１００Ａと一体化されたものであってもよい。撮像レンズ１は、光軸方向に移動可能なフォーカスレンズ等を含む。レンズ装置４０のレンズ制御部４は、本体部１００Ａのシステム制御部１１と有線又は無線によって通信可能に構成される。レンズ制御部４は、システム制御部１１からの指令にしたがい、レンズ駆動部８を介して撮像レンズ１に含まれるフォーカスレンズを制御してフォーカスレンズの主点の位置を変更したり、絞り駆動部９を介して絞り２の絞り値を制御したりする。撮像素子５は、複数の画素が二次元状に配置された撮像面を有し、撮像光学系によってこの撮像面に結像される被写体像をこの複数の画素によって画素信号に変換して出力する。撮像素子５は、ＣＭＯＳ（complementary metal-oxide semiconductor）イメージセンサが好適に用いられる。以下では撮像素子５がＣＭＯＳイメージセンサであるものとして説明する。撮像素子５から出力される画素信号の集合を撮像信号と記載する。デジタルカメラ１００の電気制御系全体を統括制御するシステム制御部１１は、撮像素子５を駆動し、レンズ装置４０の撮像光学系を通して撮像した被写体像を撮像信号として出力させる。システム制御部１１には、操作部１４を通して利用者からの指示信号が入力される。操作部１４には、表示面２２ｂと一体化されたタッチパネルと、各種ボタン等が含まれる。システム制御部１１は、デジタルカメラ１００全体を統括制御するものであり、ハードウェア的な構造は、処理プログラムを含むプログラムを実行して処理を行う各種のプロセッサである。システム制御部１１の実行するプログラムは、メモリ１６のＲＯＭに格納されている。各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:PLD）、又はＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。システム制御部１１は、各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。表示装置２２は、有機ＥＬ（electroluminescence）パネル又は液晶パネル等で構成される表示面２２ｂと、表示面２２ｂの表示を制御する表示コントローラ２２ａと、を備える。メモリ制御部１５、デジタル信号処理部１７、外部メモリ制御部２０、及び表示コントローラ２２ａは、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。次に、撮像素子５の構成例について説明する。撮像素子５の構成例としては、例えば、以下に説明する撮像素子５Ａ、撮像素子５Ｂ、撮像素子５Ｃ、及び撮像素子５Ｄが挙げられる。図２は、撮像素子５Ａの概略構成を示す模式図である。図２に示す撮像素子５Ａは、画素部３０と、周辺回路６０と、画素部３０を駆動する図示省略の駆動回路と、を備える。画素部３０は、光を電気信号に変換して出力する画素３１がＶ方向（垂直方向）とこれに直交するＨ方向（水平方向）に二次元状に配置された領域である。画素部３０には、Ｖ方向に並ぶ複数の画素３１からなる画素列３１Ｃが、Ｈ方向に複数配列されている。画素部３０は、Ｈ方向に並ぶ複数の画素３１の集合である画素行をＶ方向に複数配列したものということもできる。周辺回路６０は、処理回路群７０と、ＴＧ（タイミングジェネレータ）８０と、デジタルゲイン回路９０と、を備える。処理回路群７０は、画素部３０の各画素列３１Ｃに対応して設けられた処理回路７１を有する。処理回路群７０に含まれる各処理回路７１は、Ｈ方向に並んで配置されている。処理回路７１は、画素列３１Ｃにおける画素３１から出力されたアナログの画素信号に対してＣＤＳ（相関二重サンプリング：Correlated Double Sampling）処理を行うＣＤＳ回路７２と、ＣＤＳ回路７２で処理後の画素信号をデジタル信号に変換して出力するＡＤＣ（アナログデジタル変換：Analog-to-Digital Converter）回路７３と、を備える。デジタルゲイン回路９０は、ＡＤＣ７３から出力された画素信号に、撮像感度等に応じたゲインを乗じて出力する。デジタルゲイン回路９０から出力された画素信号がデジタル信号処理部１７によって処理されることで、表示又は保存に適した画像データが生成される。ＴＧ８０は、撮像素子５Ａに含まれる駆動回路、処理回路７１、及びデジタルゲイン回路９０の動作に必要なタイミング信号を生成して、これらに供給する。処理回路群７０は、Ｖ方向における画素部３０の一方側（図中の下側）の隣に配置されている。ＴＧ８０とデジタルゲイン回路９０は、Ｈ方向における処理回路群７０の一端の近傍に配置されている。図３は、撮像素子５Ｂの概略構成を示す模式図である。撮像素子５Ｂは、周辺回路６０のうちのＴＧ８０及びデジタルゲイン回路９０の位置が変更された点を除いては、図２の撮像素子５Ａと同じ構成である。撮像素子５Ｂにおいて、ＴＧ８０及びデジタルゲイン回路９０は、Ｖ方向及びＨ方向に垂直な方向に、画素部３０と積層されており、画素部３０の背面に配置されている。図４は、撮像素子５Ｃの概略構成を示す模式図である。撮像素子５Ｃは、周辺回路６０として、処理回路群７０Ａとデジタルゲイン回路９０Ａが更に追加された点を除いては、図２の撮像素子５Ａと同じ構成である。処理回路群７０Ａは、処理回路群７０と同じ構成である。デジタルゲイン回路９０Ａは、デジタルゲイン回路９０と同じ構成である。処理回路群７０Ａ及びデジタルゲイン回路９０Ａは、Ｖ方向における画素部３０の他方側の隣に配置されている。撮像素子５Ｃでは、画素列３１Ｃに含まれる画素３１のうちの例えば半分から出力される画素信号は、処理回路群７０によって処理され、画素列３１Ｃに含まれる画素３１のうちの残り半分から出力される画素信号は、処理回路群７０Ａによって処理される構成となっている。図５は、撮像素子５Ｄの概略構成を示す模式図である。撮像素子５Ｂは、周辺回路６０の構成要素の１つとして、記憶回路３２が追加された点を除いては、図２の撮像素子５Ａと同じ構成である。記憶回路３２は、画素部３０の各画素３１から出力された画素信号を記憶する記憶素子を有する。記憶回路３２は、例えばＤＲＡＭ（Dynamic RAM）等により構成される。記憶回路３２は、Ｖ方向及びＨ方向に垂直な方向において、画素部３０と積層されており、画素部３０の背面に配置されている。撮像素子５Ｄにおいては、画素３１から出力されて記憶回路３２に記憶された画素信号が、処理回路群７０によって処理される構成となっている。なお、記憶回路３２が作動していない状態では、画素３１から出力された画素信号は、記憶回路３２を経由することなく、処理回路７１によって処理される。撮像素子５Ａにおいて、ＴＧ８０及びデジタルゲイン回路９０の近傍に配置される処理回路７１と、ＴＧ８０及びデジタルゲイン回路９０から離れて配置される処理回路７１とでは、ＴＧ８０及びデジタルゲイン回路９０が作動するときに発生する磁束から受ける影響が異なる。具体的には、ＴＧ８０及びデジタルゲイン回路９０の近傍に配置される処理回路７１は、上記磁束の影響を相対的に強く受けるため、この磁束の影響により、ＣＤＳ回路７２及びＡＤＣ７３の一方又は両方から出力される信号に相対的に大きなノイズが混入する。一方、ＴＧ８０及びデジタルゲイン回路９０から遠い位置にある処理回路７１では、この磁束の影響が少ないため、ＣＤＳ回路７２及びＡＤＣ７３の一方又は両方から出力される信号に混入するノイズは小さくなる。したがって、撮像素子５Ａにおいて、各画素行から暗時において出力される画素信号は、