JP-2026077442-A - 画像処理装置、画像処理装置の制御方法、撮像装置およびプログラム

Abstract

【課題】撮影者が被写体のオクルージョンの発生を容易に視認することが可能な画像処理装置を提供する。 【解決手段】本開示に係る画像処理装置は、共通する被写体を含み且つ視差を有するように撮像された複数の画像を取得する画像取得手段と、複数の画像の間でオクルージョンが発生している特定の被写体を決定する決定手段と、複数の画像の少なくともいずれかに基づく表示用の画像において、特定の被写体にオクルージョンが発生していることを視認可能にする情報を生成する生成手段と、を有する。 【選択図】図５

Inventors

• 杉本 俊彦
• 水野 信貴
• 西山 知宏

Assignees

• キヤノン株式会社

Dates

Publication Date

20260513

Application Date

20241025

Claims (15)

1. 共通する被写体を含み且つ視差を有するように撮像された複数の画像を取得する画像取得手段と、 前記複数の画像の間でオクルージョンが発生している特定の被写体を決定する決定手段と、 前記複数の画像の少なくともいずれかに基づく表示用の画像において、前記特定の被写体に前記オクルージョンが発生していることを視認可能にする情報を生成する生成手段と、を有することを特徴とする画像処理装置。
2. 前記複数の画像の少なくともいずれかに基づいて前記表示用の画像を生成する画像生成手段を更に有し、 前記画像生成手段は、前記複数の画像のそれぞれを撮像する際の各視点とは異なる仮想的な視点で撮像された画像を生成して、前記表示用の画像とする、ことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像生成手段は、前記複数の画像のそれぞれに前記仮想的な視点の画像となる視点変換を行い、前記仮想的な視点となるように変換されたそれぞれの画像を用いて前記表示用の画像を生成する、ことを特徴とする請求項２に記載の画像処理装置。
4. 前記画像生成手段は、更に、画像に含まれる被写体に対する被写体距離を推定し、前記被写体距離に応じて前記複数の画像における被写体に対する視差を低減させた被写体領域の画像を前記表示用の画像に付加する、ことを特徴とする請求項３に記載の画像処理装置。
5. 前記複数の画像の少なくともいずれかに基づいて前記表示用の画像を生成する画像生成手段を更に有し、 前記画像生成手段は、前記複数の画像のうち被写体の数がより多い画像を前記表示用の画像とする、ことを特徴とする請求項１に記載の画像処理装置。
6. 前記決定手段は、前記複数の画像のうちの第１の画像において検出された被写体の被写体距離を推定することができるか否かにより、オクルージョンが発生している前記特定の被写体を決定する、ことを特徴とする請求項１に記載の画像処理装置。
7. 前記決定手段は、前記複数の画像の各画像において検出された被写体のうち、主要被写体であることに対応する所定の条件を満たす被写体の中からオクルージョンが発生している前記特定の被写体を決定する、ことを特徴とする請求項１に記載の画像処理装置。
8. 前記所定の条件を満たす被写体は、被写体の画角に占める割合と、被写体の種類との少なくともいずれかが設定された条件を満たす被写体である、ことを特徴とする請求項７に記載の画像処理装置。
9. 前記特定の被写体に前記オクルージョンが発生していることを視認可能にする前記情報は、前記特定の被写体の領域の輪郭強調と、前記特定の被写体の領域に外接する枠との少なくともいずれかを前記表示用の画像に付加した情報を含む、ことを特徴とする請求項１に記載の画像処理装置。
10. 前記特定の被写体に前記オクルージョンが発生していることを視認可能にする前記情報は、前記撮像された画像上の、前記特定の被写体の領域の色、前記特定の被写体の領域の輝度、及び前記特定の被写体の領域の透過率のいずれかを変更した情報を含む、ことを特徴とする請求項１に記載の画像処理装置。
11. 前記生成手段で生成された、前記特定の被写体に前記オクルージョンが発生していることを視認可能にする前記情報を表示手段に表示させる表示制御手段を更に含む、請求項１に記載の画像処理装置。
12. 画像を撮像する撮像手段と、 請求項１から１１のいずれか１項に記載の画像処理装置と、を含み、 前記画像取得手段は、前記撮像手段から出力された１つの画像信号から、前記複数の画像を取得する、ことを特徴とする撮像装置。
13. 前記複数の画像のそれぞれは、複数の光学系のうちの異なる光学系を介して得られる画像に対応する、ことを特徴とする請求項１２に記載の撮像装置。
14. 共通する被写体を含み且つ視差を有するように撮像された複数の画像を取得する画像取得工程と、 前記複数の画像の間でオクルージョンが発生している特定の被写体を決定する決定工程と、 前記複数の画像の少なくともいずれかに基づく表示用の画像において、前記特定の被写体に前記オクルージョンが発生していることを視認可能にする情報を生成する生成工程と、を有することを特徴とする画像処理装置の制御方法。
15. コンピュータを、請求項１から１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Description

本発明は、画像処理装置、画像処理装置の制御方法、撮像装置およびプログラムに関する。 近年、立体視可能な映像（以降、３Ｄ映像、もしくは３Ｄ画像と称する）を撮影することが可能な撮像装置が知られている。このような撮像装置には、レンズ交換式カメラにおいて、特殊な２眼レンズを介して、中央を境目として左側、右側の画像を１つの撮像素子で撮像することで、視差のある画像データを作成するものが提案されている（特許文献１）。 また、視点の異なる複眼で撮影された複数の画像を処理して、１つの表示画像に合成し、表示する技術も提案されている（特許文献２、特許文献３）。 特開２０１１－２０５５５８号公報特開２０１３－１３８４４２号公報特開２０１２－１２４８８５号公報 実施形態１のカメラの外観構成の一例を示す図実施形態１のカメラの内部構成の一例を示す図実施形態１のレンズユニットの構成の一例を示す模式図実施形態１の機能構成例を示すブロック図実施形態１のオクルージョン情報生成処理の動作を示すフローチャート実施形態１の撮影シーンの例を説明する図実施形態１の撮像画像の例を説明する図実施形態１の主要被写体の選択について説明する図実施形態１のベース画像について説明する図実施形態１のオクルージョン表示画像の例を説明する図実施形態２のベース画像について説明する図実施形態２のオクルージョン表示画像の例を説明する図実施形態３のオクルージョン表示画像の一形態を示す図実施形態３のオクルージョン表示画像の他の一形態を示す図 （実施形態１） 以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。 以下では画像処理装置の一例として、視差のある複数の画像を処理可能なデジタルカメラを用いる例を説明する。しかし、本実施形態は、デジタルカメラに限らず、視差のある複数の画像を処理することが可能な他の機器にも適用可能である。これらの機器には、例えばスマートフォン、ゲーム機、タブレット端末、ウェアラブル情報端末、医療機器などが含まれてよい。 ＜ハードウェア全体構成＞ 図１は、デジタルカメラ１００（以下、カメラという）の外観構成の一例を示す図である。図１（ａ）はカメラ１００を前面から見た斜視図であり、図１（ｂ）はカメラ１００を背面から見た斜視図である。 カメラ１００は、上面に、シャッターボタン１０１、電源スイッチ１０２、モード切替スイッチ１０３、メイン電子ダイヤル１０４、サブ電子ダイヤル１０５、動画ボタン１０６、ファインダ外表示部１０７を有する。シャッターボタン１０１は、撮影準備あるいは撮影指示を行うための操作部である。電源スイッチ１０２は、カメラ１００の電源のオンとオフとを切り替える操作部である。モード切替スイッチ１０３は、各種モードを切り替えるための操作部である。メイン電子ダイヤル１０４は、シャッター速度や絞り等の設定値を変更するための回転式の操作部である。サブ電子ダイヤル１０５は、選択枠（カーソル）の移動や画像送り等を行うための回転式の操作部である。動画ボタン１０６は、動画撮影（記録）の開始や停止の指示を行うための操作部である。ファインダ外表示部１０７は、シャッター速度や絞り等の様々な設定値を表示する。 カメラ１００は、背面に、表示部１０８、タッチパネル１０９、方向キー１１０、ＳＥＴボタン１１１、ＡＥロックボタン１１２、拡大ボタン１１３、再生ボタン１１４、メニューボタン１１５、接眼部１１６、接眼検知部１１８、タッチバー１１９を有する。表示部１０８は、画像や各種情報を表示する。タッチパネル１０９は、表示部１０８の表示面（タッチ操作面）に対するタッチ操作を検出する操作部である。方向キー１１０は、上下左右にそれぞれ押下可能なキー（４方向キー）から構成される操作部である。方向キー１１０を押下した位置に応じた操作が可能である。ＳＥＴボタン１１１は、主に選択項目を決定するときに押下される操作部である。ＡＥロックボタン１１２は、撮影待機状態で露出状態を固定するときに押下される操作部である。拡大ボタン１１３は、撮影モードのライブビュー表示（ＬＶ表示）において拡大モードのオンとオフとを切り替えるための操作部である。拡大モードがオンである場合にはメイン電子ダイヤル１０４を操作することにより、ライブビュー画像（ＬＶ画像）が拡大または縮小する。また、拡大ボタン１１３は、再生モードにおいて再生画像を拡大させたり、拡大率を大きくさせたりするときに用いられる。再生ボタン１１４は、撮影モードと再生モードとを切り替えるための操作部である。撮影モードの場合に再生ボタン１１４を押下することで再生モードに移行し、後述する記録媒体２２８に記録された画像のうち最新の画像を表示部１０８に表示させることができる。 メニューボタン１１５は、各種設定が可能なメニュー画面を表示部１０８に表示させるときに押下される操作部である。ユーザが表示部１０８に表示されたメニュー画面と、方向キー１１０やＳＥＴボタン１１１とを用いて直感的に各種設定を行うことができる。接眼部１１６は、接眼ファインダ（覗き込み型のファインダ）１１７に対して接眼するための部位である。ユーザは接眼部１１６を介して内部の後述するＥＶＦ２１７（Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）に表示された映像を視認することができる。接眼検知部１１８は、接眼部１１６にユーザが接眼しているか否かを検知するセンサである。 タッチバー１１９は、タッチ操作を受け付けることが可能なライン状のタッチ操作部（ラインタッチセンサ）である。タッチバー１１９は、右手の人差し指でシャッターボタン１０１を押下可能なようにグリップ部１２０を右手で握った状態（右手の小指、薬指、中指で握った状態）で、右手の親指でタッチ操作可能（タッチ可能）な位置に配置される。すなわち、タッチバー１１９は接眼部１１６に接眼して接眼ファインダ１１７を覗き、いつでもシャッターボタン１０１を押下できるように構えた状態（撮影姿勢）で操作可能である。タッチバー１１９は、タッチバー１１９に対するタップ操作（タッチして所定期間以内に移動せずに離す操作）、左右へのスライド操作（タッチした後、タッチしたままタッチ位置を移動する操作）等を受け付け可能である。タッチバー１１９は、タッチパネル１０９とは異なる操作部であり、表示機能を備えていない。本実施形態のタッチバー１１９は、マルチファンクションバーであって、例えばＭ－Ｆｎバーとして機能する。 また、カメラ１００は、グリップ部１２０、サムレスト部１２１、端子カバー１２２、蓋１２３、通信端子１２４等を有する。グリップ部１２０は、ユーザがカメラ１００を構える際に右手で握りやすい形状に形成された保持部である。グリップ部１２０を右手の小指、薬指、中指で握ってカメラ１００を保持した状態で、右手の人差指で操作可能な位置にシャッターボタン１０１とメイン電子ダイヤル１０４が配置される。また、同様な状態で、右手の親指で操作可能な位置にサブ電子ダイヤル１０５とタッチバー１１９が配置される。サムレスト部１２１（親指待機位置）は、カメラ１００の背面側の、どの操作部も操作しない状態でグリップ部１２０を握った右手の親指を置きやすい箇所に設けられたグリップ部である。サムレスト部１２１は、保持力（グリップ感）を高めるためのラバー部材等で構成される。端子カバー１２２は、カメラ１００を外部機器に接続する接続ケーブル等のコネクタを保護する。蓋１２３は、後述する記録媒体２２８を格納するためのスロットを閉塞することで記録媒体２２８およびスロットを保護する。通信端子１２４は、カメラ１００が着脱可能な後述するレンズユニット２００側と通信を行うための端子である。 ＜カメラの内部構成＞ 図２は、カメラ１００の内部構成の一例を示す図である。なお、図１と同一の構成は、同一符号を付してその説明を適宜、省略する。カメラ１００にはレンズユニット２００が装着される。 まず、レンズユニット２００について説明する。 レンズユニット２００は、カメラ１００に着脱可能な交換レンズの一種である。レンズユニット２００は、１眼レンズであり、通常のレンズの一例である。ここではハードウェア構成の説明の簡単化のために１眼レンズの例を説明しているが、図３を参照して後述する本実施形態の２眼レンズを装着することができる。 レンズユニット２００は、絞り２０１、レンズ２０２、絞り駆動回路２０３、ＡＦ（オートフォーカス）駆動回路２０４、レンズシステム制御回路２０５、通信端子２０６等を有する。 絞り２０１は、開口径が調整可能に構成される。レンズ２０２は、複数枚のレンズから構成される。絞り駆動回路２０３は、絞り２０１の開口径を制御することで光量を調整する。ＡＦ駆動回路２０４は、レンズ２０２を駆動させて焦点を合わせる。レンズシステム制御回路２０５は、後述するシステム制御部２１８の指示に基づいて、絞り駆動回路２０３、ＡＦ駆動回路２０４等を制御する。レンズシステム制御回路２０５は、絞り駆動回路２０３を介して絞り２０１の制御を行い、ＡＦ駆動回路２０４を介してレンズ２０２の位置を変位させることで焦点を合わせる。レンズシステム制御回路２０５は、カメラ１００との間で通信可能である。具体的には、レンズユニット２００の通信端子２０６と、カメラ１００の通信端子１２４とを介して通信される。通信端子２０６は、レンズユニット２００がカメラ１００側と通信を行うための端子である。 次に、カメラ１００について説明する。カメラ１００は、シャッター２１０、撮像部２１１、Ａ／Ｄ変換器２１２、メモリ制御部２１３、画像処理部２１４、メモリ２１５、Ｄ／Ａ変換器２１６、ＥＶＦ２１７、表示部１０８、システム制御部２１８を有する。 シャッター２１０は、システム制御部２１８の指示に基づいて撮像部２１１の露光時間を自由に制御できるフォーカルプレーンシャッターである。撮像部２１１は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子（イメージセンサ）である。なお、シャッター２１０を用いて実行している露出制御を撮像部２１１の制御（電子シャッター）によって実現することも可能である。その場合、撮像装置からシャッター２１０を除いた構成（メカシャッターレス）とすることも可能である。撮像部２１１は、システム制御部２１８にデフォーカス量情報を出力する撮像面位相差センサを有していてもよい。Ａ／Ｄ変換器２１２は、撮像部２１１から出力されるアナログ信号をデジタル信号に変換する。画像処理部２１４は、Ａ／Ｄ変換器２１２からのデータまたはメモリ制御部２１３からのデータに対し所定の処理（画素補間、縮小等のリサイズ処理、色変換処理等）を行う。また、画像処理部２１４は、撮影した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部２１８が露光制御や測距制御を行う。この処理により、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理等が行われる。更に、画像処理部２１４は、撮影した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。 Ａ／Ｄ変換器２１２からの画像データは、画像処理部２１４およびメモリ制御部２１３を介してメモリ２１５に書き込まれる。あるいは、Ａ／Ｄ変換器２１２からの画像データは、画像処理部２１４を介さずにメモリ制御部２１３を介してメモリ２１５に書き込まれる。メモリ２１５は、撮像部２１１によって得られＡ／Ｄ