Search

JP-2026077404-A - 処理装置

JP2026077404AJP 2026077404 AJP2026077404 AJP 2026077404AJP-2026077404-A

Abstract

【課題】撮像時の条件が異なる複数の画像データの中から比較対象として適切な画像を抽出することが難しい場合がある。 【解決手段】処理装置は、移動可能な撮像装置から当該撮像装置が取得したクエリ画像を取得する取得部と、前記クエリ画像を撮像した際における前記撮像装置の姿勢を示す姿勢情報を用いて、撮像した際の姿勢が異なる複数のリファレンス画像を含むリファレンスデータベースの中から前記クエリ画像とペアになる前記リファレンス画像を抽出するペア画像抽出部と、を有する。 【選択図】図１２

Inventors

  • 中村 遥佳
  • 齊藤 晃
  • 徐 磊

Assignees

  • ＮＥＣソリューションイノベータ株式会社

Dates

Publication Date
20260513
Application Date
20241025

Claims (10)

  1. 移動可能な撮像装置から当該撮像装置が取得したクエリ画像を取得する取得部と、 前記クエリ画像を撮像した際における前記撮像装置の姿勢を示す姿勢情報を用いて、撮像した際の姿勢が異なる複数のリファレンス画像を含むリファレンスデータベースの中から前記クエリ画像とペアになる前記リファレンス画像を抽出するペア画像抽出部と、 を有する 処理装置。
  2. 前記ペア画像抽出部が抽出したペア画像である前記クエリ画像と前記リファレンス画像との間における差分を検出する検出部と、 前記検出部による検出結果に応じた情報を出力する出力部と、 を有する 請求項１に記載の処理装置。
  3. 前記リファレンスデータベースに含まれる複数の前記リファレンス画像を用いて生成した点群情報に前記検出部が検出した差分を重ね合わせる重ね合わせ部を有し、 前記出力部は、前記検出部による検出結果に応じた情報として前記重ね合わせ部が重ね合わせて結果を出力する 請求項２に記載の処理装置。
  4. 前記ペア画像抽出部は、前記リファレンス画像を撮像した際の姿勢を示す姿勢情報と、前記クエリ画像を撮像した際における前記撮像装置の姿勢を示す姿勢情報と、を用いて類似度を算出して、算出した類似度に応じて前記クエリ画像とペアになる前記リファレンス画像を抽出する 請求項１に記載の処理装置。
  5. 前記ペア画像抽出部は、前記リファレンス画像を撮像した際の姿勢を示す姿勢情報と、前記クエリ画像を撮像した際における前記撮像装置の姿勢を示す姿勢情報と、に加えて、前記リファレンス画像の特徴量と前記クエリ画像の特徴量とを用いて前記類似度を算出する 請求項４に記載の処理装置。
  6. 前記リファレンスデータベースには、時系列の前記リファレンス画像が含まれており、 前記ペア画像抽出部は、前記リファレンスデータベースに含まれる複数の前記リファレンス画像のうち、撮像時刻が所定の条件を満たす前記リファレンス画像の中から前記クエリ画像とペアになる前記リファレンス画像を抽出する 請求項５に記載の処理装置。
  7. 前記検出部は、前記ペア画像抽出部が抽出したペア画像に対して画像全体に対する輝度補正を行うとともに画像内における所定の領域ごとに輝度補正を行ったあと、差分を検出する 請求項２に記載の処理装置。
  8. 前記検出部は、検出した差分のうち、画像内における領域、または、画像から推定した深度が所定の条件を満たす差分を前記クエリ画像と前記リファレンス画像との間における差分として検出する 請求項２に記載の処理装置。
  9. 情報処理装置が、 移動可能な撮像装置から当該撮像装置が取得したクエリ画像を取得し、 前記クエリ画像を撮像した際における前記撮像装置の姿勢を示す姿勢情報を用いて、撮像した際の姿勢が異なる複数のリファレンス画像を含むリファレンスデータベースの中から前記クエリ画像とペアになる前記リファレンス画像を抽出する 処理方法。
  10. 情報処理装置に、 移動可能な撮像装置から当該撮像装置が取得したクエリ画像を取得し、 前記クエリ画像を撮像した際における前記撮像装置の姿勢を示す姿勢情報を用いて、撮像した際の姿勢が異なる複数のリファレンス画像を含むリファレンスデータベースの中から前記クエリ画像とペアになる前記リファレンス画像を抽出する 処理を実現するためのプログラム。

Description

本発明は、処理装置、処理方法、プログラムに関する。 様々な時期や位置で撮像された画像データなど撮像時の条件が多様な画像データを用いて、変化などの検出を行うことがある。 関連する文献として、例えば、特許文献１がある。特許文献１には、異なる時期に撮影された軌道周辺の同一箇所の画像データを比較することによって環境変化を検出する軌道周辺の環境変化検出方法が記載されている。特許文献１によると、上記方法では、車両に搭載されたカメラにより走行中に車両側方の風景を含む画像を所定時間間隔で撮影し、撮影した画像データを位置情報および時間情報と共に記憶装置に記憶する。また、方法は、当該対象物の深度を算出する工程、所定ピクセル数の幅を有する画像データを切り出して上下方向のオルソ補正を行う補正工程、補正後の画像データを接合して生成した連続画像に対して少なくとも画像内において空の占める割合を算出する工程、軌道周辺の同一箇所に関し異なる時期に撮影された画像データからそれぞれ生成された連続画像に基づいて画像特徴量の差分を算出する特徴量差分算出工程、などを有する。 特開２０１９－８５０５６号公報 本開示における検出システムの概要を説明するための図である。検出システムが行う動作の概要を示す図である。検出装置の構成例を示すブロック図である。リファレンスデータベースに含まれる情報の一例を示す図である。ペア画像抽出処理の一例を示す図である。ペア画像抽出処理の他の一例を示す図である。探索範囲の一例を示す図である。ペア画像抽出処理を選択する際の基準の一例を説明するための図である。差分検出処理の一例を示す図である。検出装置の動作例を示すフローチャートである。本開示における処理装置のハードウェア構成例を示す図である。処理装置の構成例を示すブロック図である。 ［第１の実施形態］ 本開示における検出システム１００の構成例について、図１から図１０までを参照して説明する。図１、図２は、検出システム１００の概要を説明するための図である。図３は、検出装置２００の構成例を示すブロック図である。図４は、リファレンスデータベース２４１に含まれる情報の一例を示す図である。図５、図６は、ペア画像抽出処理の一例を示す図である。図７は、探索範囲の一例を示す図である。図８は、ペア画像抽出処理を選択する際の基準の一例を説明するための図である。図９は、差分検出処理の一例を示す図である。図１０は、検出装置２００の動作例を示すフローチャートである。なお、本開示において図面は、１以上の各実施形態に関連づけられてよい。 本開示では、任意の時刻や任意の視点など様々な条件で撮像された多視点画像であるリファレンス画像の中から、クエリ画像とペアになるリファレンス画像を抽出する検出システム１００について説明する。図１で示すように、検出システム１００は、撮像装置１１０などの撮像時の姿勢が変化する可能性のある移動可能な装置を用いて、異なる視点、異なる時刻に撮像した、複数のリファレンス画像を有している。換言すると、検出システム１００は、車載や空撮などにおいて、撮像した際における撮像装置１１０の姿勢などが異なる複数のリファレンス画像を有している。また、検出システム１００は、撮像装置１１０などからクエリ画像を取得する。すると、検出システム１００は、クエリ画像を撮像した際における撮像装置１１０などの姿勢を示す姿勢情報を取得する。そして、検出システム１００は、取得した姿勢情報を用いて、撮像した際の姿勢が異なる複数のリファレンス画像の中からクエリ画像とペアになるリファレンス画像を抽出する。例えば、検出システム１００は、複数のリファレンス画像のうちクエリ画像と最も撮像時の姿勢が近くなるリファレンス画像をペア画像として抽出する。なお、リファレンス画像を撮像する際に用いる撮像装置とクエリ画像を撮像する際に用いる撮像装置は、同じであってもよいし異なっていてもよい。 一例として、図１の場合、検出システム１００は、構造物などの同一の被写体について異なる姿勢で撮像した複数のリファレンス画像（リファレンス画像１、２、３、４）を有している。また、検出システム１００は、クエリ画像の取得に応じて、撮像時の位置や角度がクエリ画像と最も類似するリファレンス画像３をクエリ画像とペアになるリファレンス画像として抽出する。なお、リファレンス画像は、図１で例示する場合に限定されず、同一の被写体を撮像したものに限られない。換言すると、複数のリファレンス画像には、異なる被写体を撮像したものが含まれてもよい。例えば、リファレンス画像は、電車などの移動体に設置された撮像装置１１０が取得した時系列の画像などであってもよい。この場合、移動体の移動により、撮像装置１１０は、撮像する際の位置が異なるとともに被写体も変化する複数のリファレンス画像を取得することができる。また、検出システム１００は、時系列のリファレンス画像だけでなく、時系列のクエリ画像など複数のクエリ画像を取得することができる。この場合、検出システム１００は、取得した各クエリ画像についてペア画像の抽出を行ってよい。検出システム１００は、取得したクエリ画像のうち所定の条件を満たすクエリ画像についてペア画像の抽出を行ってもよい。 なお、本開示において、撮像時の姿勢は、撮像装置１１０の位置や角度などのうちの少なくとも一つにより定まるものとする。例えば、検出システム１００は、時系列の画像データに応じて自己位置推定や環境地図作成を行う技術であるビジュアルＳＬＡＭ（Simultaneous Localization and Mapping）、画像から対象物の形状や撮像装置の動きを復元するＳｆＭ（Structure from Motion）、などの技術を用いることで、複数のリファレンス画像などから各リファレンス画像を撮像した際の姿勢を示す情報を取得することができる。同様に、検出システム１００は、クエリ画像に対しても、ビジュアルＳＬＡＭやＳｆＭなどの技術を用いることで、撮像時の姿勢を示す情報を取得することができる。なお、検出システム１００は、上記例示した以外の方法を用いて撮像時の姿勢を示す情報を取得してもよい。例えば、撮像装置１１０がＧＰＳ（Global Positioning System）センサや角度センサなどの各種センサなどを有する場合、検出システム１００は、上記各センサが取得した情報などに応じて姿勢を示す情報を取得してもよい。 また、検出システム１００は、抽出したペア画像を様々な用途に用いることができる。例えば、図２で示すように、検出システム１００は、抽出したペア画像間における差分を検出するよう構成することができる。一例として、検出システム１００は、ペア画像となるリファレンス画像とクエリ画像とを比較することにより、被災地構造物、船、電柱、電線、線路や道路、そのほか任意の立体構造物などの変化箇所やその範囲などを差分として検出することができる。また、検出システム１００は、差分検出結果と、リファレンス画像から生成した３次元点群データなどとを重ね合わせることで、３次元の差分情報を出力するように構成してもよい。なお、検出システム１００は、抽出したペア画像を上記例示した用途以外に用いてもよい。 図３は、検出システム１００においてペア画像の抽出や差分の検出などを行う情報処理装置（処理装置）である検出装置２００の構成例を示している。検出装置２００は、撮像装置１１０などと通信可能に接続されており、接続された撮像装置１１０やそのほか任意の外部装置からクエリ画像を取得する。また、検出装置２００は、クエリ画像の取得に応じて、ペア画像の抽出などを行うことができる。図３を参照すると、検出装置２００は、主な構成要素として、操作入力部２１０と、画面表示部２２０と、通信インタフェース部２３０と、記憶部２４０と、演算処理部２５０と、を有している。 なお、図３では、１台の情報処理装置を用いて検出装置２００としての機能を実現する場合について例示している。しかしながら、検出装置２００としての機能のうちの少なくとも一部は、例えばクラウド上に実現されるなど、複数台の情報処理装置を用いて実現されてもよい。例えば、検出装置２００は、後述するペア画像の抽出を行う処理装置と、抽出したペア画像を用いた差分検出処理を行う検出装置と、などの複数の情報処理装置から実現されてもよい。また、検出装置２００は、操作入力部２１０や画面表示部２２０を有さないなど上記例示した構成の一部を含まなくてもよいし、上記例示した以外の構成を有してもよい。 操作入力部２１０は、キーボード、マウスなどの操作入力装置からなる。操作入力部２１０は、検出装置２００を操作する操作者の操作を検出して演算処理部２５０に出力する。 画面表示部２２０は、液晶ディスプレイや有機ＥＬ（electro-luminescence）などの画面表示装置からなる。画面表示部２２０は、演算処理部２５０からの指示に応じて、記憶部２４０に格納されている各種情報などを画面表示することができる。 通信インタフェース部２３０は、データ通信回路などからなる。通信インタフェース部２３０は、通信回線を介して接続された撮像装置１１０やそのほか任意の外部装置との間でデータ通信を行う。 記憶部２４０は、ハードディスクやメモリなどの記憶装置である。記憶部２４０は、演算処理部２５０における各種処理に必要な処理情報やプログラム２４５を記憶する。プログラム２４５は、演算処理部２５０に読み込まれて実行されることにより各種処理部を実現する。プログラム２４５は、通信インタフェース部２３０などのデータ入出力機能を介して外部装置や記録媒体から予め読み込まれ、記憶部２４０に保存されている。記憶部２４０で記憶される主な情報としては、例えば、リファレンスデータベース２４１、点群情報２４２、クエリ画像情報２４３、検出結果情報２４４などがある。 リファレンスデータベース２４１は、任意の時刻や任意の視点など様々な条件で撮像されたリファレンス画像を複数含んでいる。リファレンスデータベース２４１は、通信インタフェース部２３０を介して撮像装置１１０やそのほか任意の外部装置からリファレンス画像などの情報を取得することなどに応じて予め取得され、記憶部２４０に格納されている。 図４は、リファレンスデータベース２４１に含まれる情報の一例を示している。図４を参照するとリファレンスデータベース２４１では、カメラ姿勢情報と、特徴量情報と、画像データと、を関連づけることができる。ここで、カメラ姿勢情報は、関連するリファレンス画像を撮像した際における撮像装置１１０などの装置の姿勢（撮像時の姿勢）を示す情報である。カメラ姿勢情報は、姿勢を示す情報として、装置の角度や向いている方角、装置の位置を示す情報、などを含むことができる。一例として、カメラ姿勢情報は、ビジュアルＳＬＡＭやＳｆＭなどの技術を用いることで、複数のリファレンス画像から予め取得してよい。なお、カメラ姿勢情報は、上記例示した以外の姿勢を示す情報を含んでもよい。また、特徴量情報は、関連するリファレンス画像から抽出したリファレンス画像の特徴を示す情報である。特徴量情報は、関連するリファレンス画像に対して任意の特徴量抽出処理を行うことで予め取得することができる。また、画像データには、関連するリファレンス画像などを含むことができる。 なお、リファレンスデータベース２４１に含まれる情報は、図４で例示した場合に限定されない。例えば、リファレンスデータベース２４１は、図４で例示した各種情報の一部のみを含んでもよいし、図４で例示した以外の情報を含んでもよい。 また、リファレンスデータベース２４１は、予め撮像した複数のリファレンス画像の候補の中から任意の条件に応じてリファレンス画像を選定することなどに応じて、生成または更新可能なよう構成してもよい。例えば、リファレ