JP-2026077692-A - 石材照合装置及びプログラム

JP2026077692AJP 2026077692 AJP2026077692 AJP 2026077692AJP-2026077692-A

Abstract

【課題】作業者の手間をより低減しつつ石材画像を照合することのできる石材照合装置、石材照合方法及びプログラムを提供する。【解決手段】石材照合装置は、崩落前の石垣を撮影した画像に含まれている崩落前石材の輪郭をそれぞれ取得し、石垣の崩落後に撮影した画像に含まれている崩落後石材の輪郭を取得し、崩落前石材の画像及び崩落後石材の画像のそれぞれについて、輪郭又は石材領域の平均位置を中心とした各方向での平均位置から輪郭までの距離に基づいて定められた基準方向に対する相対角度と距離との関係を少なくとも含む特徴量を抽出し、崩落前石材の特徴量と崩落後石材の特徴量とを比較して、崩落前石材と崩落後石材とを照合する。【選択図】図７

Inventors

陳天恩
松本正芳
津口雅彦
崔載永

Assignees

株式会社パスコ

Dates

Publication Date: 20260513
Application Date: 20260209

Claims (2)

崩落前の石垣を撮影した画像に含まれている複数の崩落前石材の石材領域をそれぞれ取得する第１領域取得手段と、前記石垣の崩落後に撮影した画像に含まれている崩落後石材の石材領域を取得する第２領域取得手段と、前記石材領域の外接矩形及び内接矩形から予め定められたいずれかのうち、前記石材領域との面積差が最小であるものを前記崩落前石材及び前記崩落後石材のそれぞれについて求め、当該最小の面積差に応じた不整形の度合に係る指標を少なくとも含む特徴量を抽出する特徴量抽出手段と、前記崩落前石材の前記特徴量と前記崩落後石材の前記特徴量とを比較して、前記崩落前石材と前記崩落後石材とを照合する照合手段と、を備えることを特徴とする石材照合装置。
コンピュータを、崩落前の石垣を撮影した画像に含まれている複数の崩落前石材の石材領域をそれぞれ取得する第１領域取得手段、前記石垣の崩落後に撮影した画像に含まれている崩落後石材の石材領域を取得する第２領域取得手段、前記石材領域の外接矩形及び内接矩形から予め定められたいずれかのうち、前記石材領域との面積差が最小であるものを前記崩落前石材及び前記崩落後石材のそれぞれについて求め、当該最小の面積差に応じた不整形の度合に係る指標を少なくとも含む特徴量を抽出する特徴量抽出手段、前記崩落前石材の前記特徴量と前記崩落後石材の前記特徴量とを比較して、前記崩落前石材と前記崩落後石材とを照合する照合手段、として機能させるためのプログラム。

Description

この発明は、石材照合装置及びプログラムに関する。城郭といった古い建築物や防塁など、及びその遺構などには、しばしば石垣が含まれる。石垣は、大地震などの天災の発生に伴って崩落する場合がある。大量の石材が無秩序に崩落した場合に、保持されていた石垣の写真を参照しながら崩落している石材を各々特定して元の位置に戻すのは非常に手間がかかるという問題がある。特許文献１に記載の石垣管理システムでは、光学カメラで撮影されていた石垣の画像及び崩落後の各石材画像からそれぞれ石材のコーナーやエッジなどの特徴点を抽出し、当該特徴点の類似度の高い順に抽出した石材画像の情報を照合結果として出力している。特開２０１９－０９５８２１号公報本実施形態の石材照合システムのシステム構成を示すブロック図である。石材データ生成制御処理の制御手順を示すフローチャートである。石材画像から算出可能な石材の形状に係る特徴量の例を示す図表である。輪郭動径について説明する図である。最小不整形指標を説明する図である。特徴量算出処理の制御手順を示すフローチャートである。石材照合制御処理の制御手順を示すフローチャートである。照合に係る表示画面の例を示す図である。以下、本発明の実施の形態を図面に基づいて説明する。図１は、本実施形態の石材照合システム１００のシステム構成を示すブロック図である。石材照合システム１００は、石材照合装置としての処理装置１と、石材画像を記憶する記憶装置２とを含む。処理装置１は、通常のパーソナルコンピュータ（ＰＣ、コンピュータ）であってもよく、ＣＰＵ１１（Central Processing Unit）と、ＲＡＭ１２（Random Access Memory）と、記憶部１３と、通信部１４と、表示部１５（表示手段）と、操作受付部１６などを備える。ＣＰＵ１１は、演算処理を行い、処理装置１の動作を統括制御する。ＣＰＵ１１は、単一のプロセッサであってもよいし、複数のプロセッサが並列動作又は用途などに応じて各々独立に動作するものであってもよい。ＲＡＭ１２は、ＣＰＵ１１に作業用のメモリ空間を提供し、一時データを記憶する。ＲＡＭ１２は、特には限られないがＤＲＡＭなどであってもよい。ＣＰＵ１１が複数のプロセッサを有する場合には、各々に対応するＲＡＭを有していてもよいし、複数のプロセッサにより共通に利用されるＲＡＭであってもよい。記憶部１３は、石材のデータ生成制御処理及び石材の石材照合制御処理に係るプログラム１３１や設定データなどを記憶する補助記憶装置である。記憶部１３は、例えば、フラッシュメモリなどの不揮発性メモリやＨＤＤ（Hard Disk Drive）などであってよい。記憶部１３は、処理装置１に対して外付けされる構成（処理装置１の外部の構成）であってもよく、ネットワーク上に存在してアクセス可能なネットワークドライブやクラウドサーバなどであってもよい。設定データには、例えば、表示画面への照合結果の表示に係る画面設定や表示順設定などが含まれる。通信部１４は、外部機器との間で所定の通信規格に従って行うデータの送受信（通信）を制御する。所定の通信規格には、例えば、ＬＡＮ（Local Area Network）に係るＴＣＰ／ＩＰなどが含まれる。また、通信部１４は、ＵＳＢ（Universal Serial Bus）などの接続端子を有し、ＵＳＢによる接続機器との一対一での通信を制御することが可能であってもよい。表示部１５は、デジタル表示画面を有し、ＣＰＵ１１の制御に基づいてデジタル表示画面による表示を行う。デジタル表示画面は、特には限られないが、例えば液晶表示画面（ＬＣＤ）である。操作受付部１６は、マウスなどのポインティングデバイスやキーボードなどを含み、入力操作を受け付けて、受け付けた内容に応じた操作信号をＣＰＵ１１へ出力する。なお、表示部１５及び操作受付部１６は、通信部１４の接続端子に接続された周辺機器（処理装置１の外部の構成）であってもよい。記憶装置２は、石材画像、並びに当該石材画像に対応付けられた識別情報及び特性情報を記憶する。記憶装置２は、ネットワークドライブやクラウドサーバなど、専用のデータベース装置、又は適宜な容量の補助記憶装置（ＨＤＤ）などを内蔵又は外付けしたＰＣなどであってもよい。石材画像には、崩落前の石垣が光学カメラにより撮影された崩落前の石垣画像及び当該石垣画像に含まれる各石材（崩落前石材）に区分された画像（崩落前石材画像）、並びに石垣の崩落後の石材（崩落後石材）が各々光学カメラにより撮影された崩落後石材画像が含まれる。識別情報は、例えば、一意に定められた識別番号や記号などである。特性情報については後述する。次に、石材の照合について説明する。石垣が崩落すると、個々の石材は、当初の位置関係や向きからずれて散在する。崩落後石材を元の位置関係に戻して石垣を修復するには、各崩落前石材画像と崩落後石材画像とを比較してこれらが合致する組合せを検出し、合致した崩落前石材画像に係る石材（崩落前石材）の石垣における位置を特定する必要がある。処理装置１では、崩落前石材画像及び崩落後石材画像のうちいずれか一方（例えば崩落後石材画像）の一つの石材に対して、他方の石材画像（崩落前石材画像）を総当たりで比較して、類似の度合が高い他方の石材画像を抽出して照合結果を示す。比較は、各石材の形状特性を示す特徴量などの特性情報の定量的な評価、すなわち、比較対象の石材間における相違度に基づいて行われる。相違度は例えば、１から特徴量間の相互相関係数を減じた値、特徴量間の差分の大きさ、特徴量間の距離などとして算出することができる。このような照合に係る処理のために、上記一方の石材（崩落前石材）及び他方の石材（崩落後石材）の画像を取得し、更に、上記一方（崩落前の石材）の輪郭、位置や形状に係る特性情報などを予め特定して記憶装置２に記憶保持する。崩落前の各石材の画像は、石垣の画像内から各々石材の範囲（輪郭及びその内側の石材領域）が特定されて、特定された輪郭ごとに画像が区分されることで得られる。特定された各石材の輪郭の形状に係る特徴量が抽出されて、石材の識別情報（例えば識別番号）及び位置情報とともに崩落前石材画像に対応付けられて、記憶装置２の石材データ２１に記憶保持される。石垣は、予め計画的かつ網羅的に各々最適な向き及び画角で撮影されるのが好ましいが、他の目的、例えば、宣伝、パンフレットや案内などのために撮影された撮影画像や、単なるスナップ写真などが流用されてもよい。石垣は、しばしば露出面積が大きく、複数の方向に面している場合もあるので、石垣は、複数の領域に分割されて撮影されてもよい。この場合に、撮影範囲ごとに石垣の識別情報（石垣番号）などが付される。一方、崩落後の石材の画像（崩落後石材画像）は、崩落した個々の石材の画像が現場の作業者や管理者などによって個別に撮影されることで取得される。崩落後石材画像も、通信部１４を介して処理装置１へ入力される。ここで、崩落した個々の石材は、崩れ方などによっては任意の向きで存在し得る。崩落前に石垣において露出していた面（表面）は、他の面と比較して土砂や苔などの付き具合が顕著に異なるので、大抵の場合では撮影時に視認で容易に特定可能である。しかしながら、表面の回転方向についての位置は、崩落後石材画像だけで特定するのは困難である。崩落後石材に係る特徴量の取得は、特には限られないが、当該崩落後石材画像が取得されるごとに各々行われればよい。各石材の画像は、正面から見た画像となるように取得される。上述したように、崩落前に石垣において露出していた面が容易に視認できるので、作業者が正面から石材を撮影することは容易である。あるいは、石材それぞれを複数の方向から撮影しておき、後述する石垣画像の場合と同様に、当該複数の方向から撮影した画像にＳｆＭ、ＭＶＳ処理を施して得られる三次元画像を正射影することにより、正面から見た崩落後石材画像を生成してもよい。なお、照合に用いられる各画像の解像度や実サイズに対する縮尺は、互いに異なっていてもよい。図２は、本実施形態の処理装置１で実行される石材データ生成制御処理の制御手順を示すフローチャートである。本実施形態の石材照合方法を含むこの石材データ生成制御処理は、プログラム１３１の一部として、例えば、適宜な石垣の画像データが取得された状態でユーザによる開始要求に係る入力操作に応じてＣＰＵ１１により開始、実行される。ＣＰＵ１１は、石垣の撮影画像を記憶装置２から取得する（ステップＳ１０１）。ＣＰＵ１１は、共通範囲を複数の方向から撮影した複数の画像に基づいて、石垣の表面に露出している各点の三次元位置を特定し、正面から見た石垣画像を生成する（ステップＳ１０２）。この石垣画像の生成では、ＣＰＵ１１は、位置の特定の基準となる点（基準点：画像から識別可能な特徴的な点であり、その地理的位置が予め衛星測位やレーザ測量などにより特定されている）が含まれる石垣の撮影画像を複数選択し、ＳｆＭ（Structure from Motion）などにより、各撮影画像の撮影位置（上記基準点に対する相対位置であってよい）及び撮影方向を算出する。ＣＰＵ１１は、撮影位置及び撮影方向が算出された複数の撮影画像を用いて、例えば、ＭＶＳ（Multi-View Stereo）処理などにより撮影画像のステレオマッチングを行って、石垣の三次元形状を復元する。ＣＰＵ１１は、この復元された石垣表面の三次元形状をＴＩＮ（Triangulated Irregular Network；不整三角形網）などによって近似し、各面に対応する範囲の画像テクスチャを貼りつけていくことで、石垣の三次元画像を生成する。この三次元画像を石垣の正面から水平方向に正射影することで、石垣画像が得られる。ＣＰＵ１１（第１輪郭取得手段（第１輪郭取得ステップ）及び第１領域取得手段）は、マルチスケール分割処理などにより崩落前石材ごとに表面の範囲（石材範囲）を区分して、その輪郭を抽出（取得）する（ステップＳ１０３）。具体的には、ＣＰＵ１１は、まず、各画素を各々別個の領域として初期設定する。隣接領域（画素）の特徴量、例えば色のばらつきなどに基づいて、当該隣接領域の類似度などによりこれら隣接領域の併合可否を各々判断してゆき、併合可能な領域がなくなる状態に達するまでこの処理を繰り返すことで、各石材ごとに領域を特定する。このとき、処理の繰り返し回数の上限や、繰り返しにより併合される領域の最大面積なども併合可否の条件に含まれてもよい。このようにして特定された各領域の外周に位置する画素が各石材の輪郭をなす。この領域外周の画素を順番にトレースすることで、輪郭がポリゴンデータ（ベクトルデータ）として表される。このポリゴンデータ（ベクトルデータ）には、スムージング処理がなされてもよい。なお、マルチスケール分割処理の結果は、表示部１５により表示されてユーザや管理者などにより目視で確認され、不適切な箇所などは、操作受付部１６が修正操作を受け付けることで適宜修正されてよい。ＣＰＵ１１は、石垣画像から各崩落前石材の輪郭の集合を描画した石垣立面図を生成し、石垣の識別情報（石垣番号）と対応付けて記憶装置２に記憶させる（ステップＳ１０４）。ＣＰＵ１１は、上記輪郭情報によって区分される各石材表面の範囲の画像を抽出した崩落前石材画像を各々設定し、識別情報とともに記憶装置２に記憶させる（ステップＳ１０５）。ＣＰＵ１１は、記憶装置２に記憶されたいずれかの崩落前石材画像を選択する（ステップＳ１０６）。このステップＳ１０６の処理では、一度選択されたものは除外される。すなわち、ＣＰＵ１１は、記憶装置２から未選択の崩落前石材画像を選択する。ＣＰＵ１１（特徴量抽出手段（特徴量抽出ステップ））は、選択された崩落前石材画像を用いて石材の