Search

JP-2026076516-A - 画像処理装置、画像処理方法、及びプログラム

JP2026076516AJP 2026076516 AJP2026076516 AJP 2026076516AJP-2026076516-A

Abstract

【課題】 仮想視点画像の生成に用いる複数の撮像画像すべてに対し特定の処理を行うと、処理コストが増大する。 【解決手段】 レンダリング装置４０は、仮想カメラの位置及び姿勢を示す第１情報を取得する取得手段と、前記仮想カメラに対応する仮想視点画像の生成に用いる複数の撮像画像のうち、前記仮想視点画像の色情報の生成に用いる特定の撮像画像を、前記第１情報に基づいて決定する決定手段と、前記特定の撮像画像の少なくとも一部に特定の処理を行う処理手段と、を有する。 【選択図】 図３

Inventors

  • 糟谷 望

Assignees

  • キヤノン株式会社

Dates

Publication Date
20260512
Application Date
20241024

Claims (15)

  1. 仮想カメラの位置及び姿勢を示す第１情報を取得する取得手段と、 前記仮想カメラに対応する仮想視点画像の生成に用いる複数の撮像画像のうち、前記仮想視点画像の色情報の生成に用いる特定の撮像画像を、前記第１情報に基づいて決定する決定手段と、 前記特定の撮像画像の少なくとも一部に特定の処理を行う処理手段と、 を有することを特徴とする画像処理装置。
  2. 前記決定手段は、前記第１情報に基づいて、前記仮想視点画像に含まれる第１領域に対応する前記特定の撮像画像を決定することを特徴とする請求項１に記載の画像処理装置。
  3. 前記特定の撮像画像は、前記第１領域の色情報の生成に用いられる撮像画像であることを特徴とする請求項２に記載の画像処理装置。
  4. 前記第１領域は、前記仮想視点画像に含まれる被写体を含む領域であることを特徴とする請求項２に記載の画像処理装置。
  5. 前記決定手段は、前記第１情報に基づいて、前記仮想カメラに対応する仮想視点画像の第１領域の色情報の生成に用いる前記特定の撮像画像の第２領域を決定し、 前記処理手段は、前記第２領域に特定の処理を行うことを特徴とする請求項２に記載の画像処理装置。
  6. 前記第２領域は、前記特定の撮像画像に含まれる被写体を含む領域であることを特徴とする請求項５に記載の画像処理装置。
  7. 前記取得手段は、前記特定の撮像画像を含む複数の撮像画像に対応する複数の実カメラの位置及び姿勢を示す第２情報と、当該複数の撮像画像に基づいて生成される前記被写体の３Ｄモデルとを取得し、 前記決定手段は、前記第１情報に基づいて前記第１領域に対応する前記３Ｄモデルの構成要素を決定し、当該構成要素及び前記第２情報に基づいて前記第２領域を決定することを特徴とする請求項６に記載の画像処理装置。
  8. 前記特定の撮像画像は、前記複数の実カメラのうち、前記仮想カメラの位置及び姿勢に近い位置及び姿勢の実カメラから取得されることを特徴とする請求項７に記載の画像処理装置。
  9. 前記処理手段は、前記第１領域より前記第２領域が小さい場合に、前記第２領域に特定の処理を行うことを特徴とする請求項５に記載の画像処理装置。
  10. 前記処理手段は、前記第１領域に含まれる画素数より前記第２領域の画素数が少ない場合に、前記第２領域に特定の処理を行うことを特徴とする請求項５に記載の画像処理装置。
  11. 前記処理手段は、前記第１領域に含まれる画素数に対する前記第２領域の画素数の比が閾値未満の場合に、前記第２領域に特定の処理を行うことを特徴とする請求項５に記載の画像処理装置。
  12. 前記特定の処理は、超解像処理であることを特徴とする請求項１に記載の画像処理装置。
  13. 前記処理手段により特定の処理が行われた前記特定の撮像画像の少なくとも一部に基づいて、前記仮想視点画像を生成する生成手段を有することを特徴とする請求項１に記載の画像処理装置。
  14. 仮想カメラの位置及び姿勢を示す第１情報を取得する取得工程と、 前記仮想カメラに対応する仮想視点画像の生成に用いる複数の撮像画像のうち、前記仮想視点画像の色情報の生成に用いる特定の撮像画像を、前記第１情報に基づいて決定する決定工程と、 前記特定の撮像画像の少なくとも一部に特定の処理を行う処理工程と、 を有することを特徴とする画像処理方法。
  15. コンピュータを、請求項１乃至１３のいずれか一項に記載の画像処理装置として機能させるためのプログラム。

Description

本開示は、画像処理装置、画像処理方法、及びプログラムに関し、特に仮想視点画像の生成技術に関する。 複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数の撮像画像を用いて仮想視点画像を生成する技術が注目されている。複数の撮像画像から仮想視点画像を生成する技術によれば、従来はカメラが入れなかった視点を含め、迫力のある視点のコンテンツを制作できる。 この技術を用いて仮想視点画像を生成するにあたり、より高画質の仮想視点画像を生成することが求められている。その方策として、特許文献１には、仮想視点画像の生成に用いる撮像画像に超解像処理を行うことにより、仮想視点画像の画質を向上させる手法が記載されている。 特開２０１８－２３９８６１号公報 実施例１に係る仮想視点画像生成システムの概略構成の一例を示す図である。実施例１に係るレンダリング装置のハードウェア構成例を示す図である。実施例１に係るレンダリング装置の機能構成例を示す図である。実施例１に係る情報処理方法のフローチャートの一例を示す図である。実施例１に係わる情報処理方法におけるカメラ決定フローを示す図である。実施例１に係わる超解像処理の要不要判断の説明を補助するための図である。 ＜実施形態＞ 本開示の好適な実施形態によれば、画像処理装置は、仮想カメラの位置及び姿勢を示す第１情報を取得する取得手段を有する。また、画像処理装置は、前記仮想カメラに対応する仮想視点画像の生成に用いる複数の撮像画像のうち、前記仮想視点画像の色情報の生成に用いる特定の撮像画像を、前記第１情報に基づいて決定する決定手段を有する。また、画像処理装置は、前記特定の撮像画像の少なくとも一部に特定の処理を行う処理手段を有する。なお、仮想カメラとは、仮想空間に配置されるカメラであり、仮想視点とも呼ばれる。なお、特定の処理とは、仮想視点画像の画質を向上させるための処理であって、例えば、超解像処理である。超解像処理とは、画像の解像度を高める処理である。言い換えると、入力される画像の解像度より高い解像度の画像を出力する処理である。特定の処理は、超解像処理に限定されず、ノイズを除去する処理や輝度を調整する処理であってもよい。 この態様により、仮想視点画像の色情報の生成に必要な撮像画像を選択して特定の処理を行うため、効率的に特定の処理を行うことができ、処理コストを低減することができる。 また、前記決定手段は、前記第１情報に基づいて、前記仮想視点画像に含まれる第１領域に対応する前記特定の撮像画像を決定することができる。なお、第１領域は、仮想視点画像に含まれる被写体を含む領域である。なお、第１領域は、仮想視点画像に含まれる被写体のみを示す領域であってもよいし、被写体を囲う領域であってもよい。例えば、仮想空間に配置された被写体の３Ｄモデルを仮想カメラに対し投影することにより、仮想視点画像における被写体のみを示す領域を抽出することができる。例えば、既存の被写体認識処理を活用することにより、仮想視点画像における被写体を囲う領域を決定することができる。なお、前記特定の撮像画像は、前記第１領域の色情報の生成に用いられる撮像画像である。 なお、仮想視点画像に複数の被写体が含まれる場合、被写体ごとに第１領域を設定することができる。この態様により、被写体ごとに、仮想視点画像の色情報の生成に用いる適切な前記特定の撮像画像を決定することができる。なお、１人の被写体に対し複数の第１領域が設定されてもよい。その場合、被写体の部位に応じて、適切な特定の撮像画像を決定することができる。例えば、仮想視点画像においては被写体が他の被写体によって遮蔽されていない場合でも、撮像画像においては被写体の一部が他の被写体によって遮蔽されていることがある。そのため、被写体ごとに特定の撮像画像を決定すると、被写体の一部が他の被写体により遮蔽されている撮像画像を特定の撮像画像として決定してしまい、結果として仮想視点画像の画質が向上できない虞がある。そのため、被写体の部位に応じて適切な特定の撮像画像を決定することにより、複数の被写体を撮影する場合や撮影領域に道具等の遮蔽物が存在する場合に、仮想視点画像の画質向上を適切に行いながら特定の処理に伴う処理コストを軽減することができる。 また、前記決定手段は、前記第１情報に基づいて、前記仮想カメラに対応する仮想視点画像の第１領域の色情報の生成に用いる前記特定の撮像画像の第２領域を決定し、前記処理手段は、前記第２領域に特定の処理を行うことができる。なお、第２領域は、特定の撮像画像に含まれる被写体を含む領域である。なお、第２領域は、特定の撮像画像に含まれる被写体のみを示す領域であってもよいし、被写体を囲う領域であってもよい。 この態様により、特定の撮像画像において、仮想視点画像の色情報の生成に用いる領域に特定の処理を行うため、より効率的に特定の処理を行うことができ、特定の処理に伴う処理コストを低減することができる。 また、前記取得手段は、前記特定の撮像画像を含む複数の撮像画像に対応する複数の実カメラの位置及び姿勢を示す第２情報と、当該複数の撮像画像に基づいて生成される前記被写体の３Ｄモデルとを取得することができる。また、前記決定手段は、前記第１情報に基づいて前記第１領域に対応する前記３Ｄモデルの構成要素を決定し、当該構成要素及び前記第２情報に基づいて前記第２領域を決定することができる。なお、実カメラとは、現実空間に配置されるカメラである。なお、３Ｄモデルの構成要素は、３Ｄモデルの形状データの種類によって異なる。例えば、３Ｄモデルがメッシュモデルの場合、構成要素はメッシュモデルを構成するポリゴンである。例えば、３Ｄモデルが点群である場合、構成要素は点群を構成する点である。上記に示すように、３Ｄモデルの形状データの種類によって異なる。なお、３Ｄモデルの形状データの種類は特に限定されない。 この態様により、３Ｄモデルの構成要素に対応する第２領域を決定することができるため、特定の撮像画像において特定の処理を適用する画素をより正確に特定することができる。 また、前記特定の撮像画像は、前記複数の実カメラのうち、前記仮想カメラの位置及び姿勢に近い位置及び姿勢の実カメラから取得される。 この態様により、仮想カメラの位置及び姿勢に近い位置及び姿勢の実カメラから取得される撮像画像を仮想視点画像の色情報の生成に活用できるため、より現実の見えを再現した仮想視点画像を生成することができる。 また、前記処理手段は、前記第１領域より前記第２領域が小さい場合に、前記第２領域に特定の処理を行うことができる。 この態様により、仮想視点画像の画質の変化を抑えつつ、特定の処理を行う対象となる撮像画像を減らすことができ、処理コストを低減することができる。 また、前記処理手段は、前記第１領域に含まれる画素数より前記第２領域の画素数が少ない場合に、前記第２領域に特定の処理を行うことができる。 また、前記処理手段は、前記第１領域に含まれる画素数に対する前記第２領域の画素数の比が閾値未満の場合に、前記第２領域に特定の処理を行うことができる。 また、前記画像処理装置は、前記処理手段により特定の処理が行われた前記特定の撮像画像の少なくとも一部に基づいて、前記仮想視点画像を生成する生成手段を有する。 また。本開示の他の好適な実施形態によれば、画像処理方法は、仮想カメラの位置及び姿勢を示す第１情報を取得する取得工程を含む。また、前記画像処理方法は、前記仮想カメラに対応する仮想視点画像の生成に用いる複数の撮像画像のうち、前記仮想視点画像の色情報の生成に用いる特定の撮像画像を、前記第１情報に基づいて決定する決定工程を含む。また、画像処理方法は、前記特定の撮像画像の少なくとも一部に特定の処理を行う処理工程を含む。 また、本開示の他の好適な実施形態によれば、プロフラムは、コンピュータを、上述の画像処理装置として機能させる。 ＜実施例＞ 以下、添付図面を参照して実施例を詳しく説明する。なお、以下の実施例は特許請求の範囲に係る発明を限定するものではない。実施例には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。 ＜実施例１＞ 本実施例では、仮想視点画像生成システム１のレンダリング装置４０において、仮想視点画像の画素又は領域ごとに超解像度処理（特定の処理に相当）を施す撮像画像（特定の撮像画像に相当）を選択することで、前述した目的を達成する。本実施例の超解像処理には、ディープラーニングモデルを訓練し、画像の詳細を補完することで解像度を向上させた画像を生成する技術を用いる。なお、超解像処理はこの限りではなく、一枚の画像を処理して超解像するものであればよい。 図１は、実施例１に係る仮想視点画像生成システム１の一例を示す図である。仮想視点画像生成システム１は、撮像領域２、被写体３、撮像装置１０、モデリング装置２０、データベース３０、レンダリング装置４０、入力装置５０、表示装置６０で構成される。なお、撮像装置１０は、複数台の撮像装置１０であってもよいし、１台の撮像装置１０であってもよい。本実施例では、複数台の撮像装置１０（以降、複数の撮像装置１０）で説明する。仮想視点画像生成システム１においては、撮影対象エリア２内にいる被写体３すなわち前景が、複数の撮像装置１０によって撮像される。そして、複数の撮像装置１０によって得られた撮影画像に基づいて、仮想視点画像が生成される。 複数の撮像装置１０は、例えば図１に示すように、被写体３を囲むように配置され、それぞれが異なる撮像位置から撮影対象エリア２の撮像を行う。なお、複数の撮像装置１０は、現実空間に配置されるカメラ（実カメラに相当）である。 モデリング装置２０は、撮像装置１０によって得られた撮影画像を用いて、被写体３の三次元形状を示す三次元形状情報を生成し、データベース３０に撮影画像と合わせて格納する。 データベース３０は、モデリング装置２０で生成された三次元形状情報の他に、撮像装置１０の画角情報と、撮影画像といったレンダリングに必要な情報も記録する。 レンダリング装置４０（画像処理装置）は、データベース３０にあるデータを用いて、入力装置５０から入力された仮想視点に対応する仮想視点画像を生成する（レンダリングする）。レンダリング装置４０は、入力された仮想視点の位置及び姿勢に基づいて、最も近い実カメラで撮影された画像を主に用いる、視点依存のレンダリング方式をとるものである。 入力装置５０は、仮想視点（仮想カメラに相当）の位置および姿勢を入力する装置で、レンダリング装置４０へ、仮想視点の情報を出力する。 表示装置６０は、レンダリング装置４０が生成した仮想視点画像を表示する。表示装置６０は、例えばディスプレイやタブレット端末、スマートフォンである。 視点依存のレンダリング方式とは、仮想視点の位置及び姿勢に基づいて被写体のモデルの色情報を生成する手法である。例えば、仮想視点の視線方向と近い視線方向の撮像装置で撮影された画像に基づいて色情報を決定する。仮想視点と視線方向が最も近い撮像装置からは不可視な領域には次に視線が近い撮像装置から色情報を決定する。その際、色を１つの撮像装置から決定しても良いし、なんらかの重みを用いて合成しても良い。ここで決定される色情報は仮想視点の位置及び姿勢に依存して色情報を決定するための撮像装置が選択されるため、仮想視点が動くことで被写体のモデルの色情報が変化する。そのため、本実施例では、この手法を視点依存のレンダリングと呼ぶ。 なお、複数の撮像装置１０は、同期した撮像を連続して行うことができる。この場合、仮想視点画像生成システム１は、時系列の