JP-2026514959-A - 照明重ね合わせを用いる動き補償

JP2026514959AJP 2026514959 AJP2026514959 AJP 2026514959AJP-2026514959-A

Abstract

線形システムの重ね合わせ原理を用いて、異なる照明条件（例えば、異なるパターン又は照明方向）下でキャプチャされた表面の一連のイメージが、構成要素を成す照明条件全て（例えば、全方向からの同時の指向性照明、又は多数の異なる照明パターンを用いる同時照明を用いる）の下で表面を照明しながらキャプチャされる追加の合成照明イメージに基づいて、互いに整合され得る。また、様々な照明条件の組み合わせの下で、追加のイメージもキャプチャされ、照明多重化技術と共に使用されて表面の超解像度イメージ又はノイズ低減イメージを得る場合がある。次いで、個々の超解像度イメージは、改善されたソース・イメージに基づいて、超解像度イメージ又はノイズ低減された三次元再構成を得るために使用され得る。【選択図】図９

Inventors

ロハリ・ヤーノシュ

Assignees

ゲルサイトインク

Dates

Publication Date: 20260513
Application Date: 20240424
Priority Date: 20230424

Claims (20)

１つ又は複数のコンピューティング装置で実行する際に、以下のステップを前記１つ又は複数のコンピューティング装置に実行させる、持続性コンピュータ可読媒体に具現化されたコンピュータ実行可能コードを含むコンピュータ・プログラム製品であって、前記ステップは、３つのイメージをキャプチャするステップであって、前記３つのイメージは、第１の方向から表面を照明する間の前記表面の第１のイメージと、第２の方向から前記表面を照明する間の前記表面の第２のイメージと、前記第１の方向および前記第２の方向から前記表面を同時に照明する間の前記表面の第３のイメージとを含む、キャプチャするステップと、前記第３のイメージと、前記第１のイメージ及び前記第２のイメージの加算結果との差分を表すコスト関数を最小化しながら、前記第３のイメージに対して前記第１のイメージ及び前記第２のイメージの少なくとも一方に動きモデルを適用することにより、前記第１のイメージを前記第２のイメージに整合するステップと、それにより、前記動きモデルに従って前記第１のイメージを前記第２のイメージに揃える整合を行うステップと、からなる、コンピュータ・プログラム製品。
前記コスト関数は、ピクセル値の差分に基づく、請求項１に記載のコンピュータ・プログラム製品。
前記コスト関数は、ピクセルのサブセットについて評価する、請求項１に記載のコンピュータ・プログラム製品。
前記コスト関数は、イメージ類似性指標に基づく、請求項１に記載のコンピュータ・プログラム製品。
前記コスト関数は、正規化された相関係数に基づく、請求項１に記載のコンピュータ・プログラム製品。
前記整合に従って揃えられる際に、前記第１のイメージ及び前記第２のイメージに基づいたシェイプ・フロム・シェーディングでもって、前記表面の三次元形状を復元するステップを、前記１つ又は複数のコンピューティング装置に実行させるコードを更に含む、請求項１に記載のコンピュータ・プログラム製品。
前記コスト関数を最小化することは、前記第３のイメージに対する第１のピクセルアレイにおける１つ又は複数のピクセル位置でのピクセル値と、１つ又は複数の対応する位置における前記第１のイメージ及び前記第２のイメージの加算結果との差分を最小化することを含む、請求項１に記載のコンピュータ・プログラム製品。
前記動きモデルは、剛体動きモデルを含む、請求項１に記載のコンピュータ・プログラム製品。
前記剛体動きモデルは、剛体回転および剛体平行移動の１つ又は複数を含む、請求項８に記載のコンピュータ・プログラム製品。
前記動きモデルは、前記第１のイメージ、前記第２のイメージ及び前記第３のイメージをキャプチャする撮像装置の姿勢において６つの自由度により誘導されるイメージの動きに対する剛体動きモデルを含む、請求項１に記載のコンピュータ・プログラム製品。
前記動きモデルは、変形可能な動きを含む、請求項１に記載のコンピュータ・プログラム製品。
前記動きモデルは、前記第１のイメージ、前記第２のイメージ及び前記第３のイメージの１つ又は複数のサブ領域に対して独立した動き追跡を使用する、請求項１に記載のコンピュータ・プログラム製品。
前記動きモデルは、イメージ差異を追跡するための視認可能な１つ又は複数の基準を使用する、請求項１に記載のコンピュータ・プログラム製品。
前記整合することは、前記第１のイメージ及び前記第２のイメージのダウンサンプリングされたインスタンスを整合し、前記ダウンサンプリングされたインスタンスから前記第１のイメージ及び前記第２のイメージのスケールへ動きパラメータをスケールアップすることにより前記第１のイメージ及び前記第２のイメージを整合するために、前記動きパラメータを計算すること、を含む、請求項１に記載のコンピュータ・プログラム製品。
前記整合することは、前記第１のイメージ、前記第２のイメージ及び前記第３のイメージの２つ以上のダウンサンプリングされたバージョンに関して、再帰的にダウンサンプリングすること、整合すること、及び動きパラメータをスケーリングすることを含む、請求項１に記載のコンピュータ・プログラム製品。
前記整合することは、前記第１のイメージ、前記第２のイメージ及び前記第３のイメージのそれぞれのピクセルアレイを複数の領域へ分割し、前記複数の領域のそれぞれから、前記コスト関数を評価するための１つ又は複数のピクセル位置を選択することを含む、請求項１に記載のコンピュータ・プログラム製品。
前記整合することは、前記コスト関数を最小化するために、前記第１のイメージ、前記第２のイメージ及び前記第３のイメージのそれぞれのピクセルアレイにおけるピクセル位置のサブセットを選択することを含み、前記ピクセル位置のサブセットを選択することは、前記第３のイメージと前記第１のイメージ及び前記第２のイメージの加算結果との間のピクセル位置のサブセットの１つにおける前記コスト関数の大きさに基づいて、前記ピクセル位置のサブセットの少なくとも１つを選択することを含む、請求項１に記載のコンピュータ・プログラム製品。
前記第１のイメージ及び前記第２のイメージの加算結果は、ピクセル輝度値のスケーリングされた加算結果を含む、請求項１に記載のコンピュータ・プログラム製品。
表面の少なくとも３つのイメージをキャプチャし、前記少なくとも３つのイメージは、２つ以上の異なる照明条件下でキャプチャされた２つ以上のイメージ、及び前記２つ以上の異なる照明条件のそれぞれの下で同時に照明されている間の表面の合成イメージを含み、前記合成イメージと前記２つ以上のイメージの加算結果との間のイメージ差異を最小化しながら、動きモデルを適用することにより、前記２つ以上のイメージを整合する、ことを含む、方法。
前記２つ以上の異なる照明条件は、２つ以上の異なる照明方向を含む、請求項１９に記載の方法。

Description

関連出願本出願は、２０２３年４月２４日に出願された米国仮特許出願第６３／４６１，４６３号の優先権を主張しており、その全内容は、参照により本明細書に援用される。本開示は概して、三次元再構成に関し、より具体的には、異なる照明条件下でキャプチャされたターゲット表面の複数のイメージを揃える（align：整列させる、位置合わせする）ための技術に関する。シェイプ・フロム・シェーディング（shape-from-shading）技術および類似の三次元再構成技術は、異なる照明条件下でキャプチャされたターゲット表面の多数のイメージ（画像）から、三次元表面情報の復元を可能にする。しかしながら、イメージが時間の経過とともに逐次的にキャプチャされる場合、カメラの動きがイメージ間にずれを生じさせる場合があり、かくしてゴースト、ぼやけ、三次元特徴要素のスミアリングのような、ずれアーティファクトを生じさせ、かくして復元された三次元データの精度を低下させる。この課題は、ハンドヘルド・スキャナからのイメージを用いる高解像度再構成のような撮像アプリケーションで特に深刻になる場合があり、イメージ間の時間間隔が十分に長く（例えば、５０ミリ秒より長い）、且つ目標解像度が十分に小さい（例えば、２０ミクロン以下）場合、手ぶれが三次元再構成エラーの大きな原因になる。三次元再構成に用いられる一連の時間的に分離したソース・イメージにおける位置ずれに対処するために、シェイプ・フロム・シェーディング及び類似の三次元再構成のための動き補償と改善されたイメージ整合が依然として必要とされている。概要線形システムの重ね合わせ原理を用いて、異なる照明条件（例えば、異なる照明パターン又は照明方向）下でキャプチャされた表面の一連のイメージが、構成要素を成す照明条件全て（例えば、全方向からの同時の指向性照明、又は多数の異なる照明パターンを用いる同時照明を用いる）の下で表面を照明しながらキャプチャされる追加の合成照明イメージに基づいて、互いに整合され得る。また、様々な照明条件の組み合わせの下で、追加のイメージがキャプチャされ、照明多重化技術と共に使用されて表面の超解像度イメージ又はノイズ低減イメージを得る場合がある。次いで、個々の超解像度イメージは、改善されたソース・イメージに基づいて、超解像度イメージ又はノイズ低減された三次元再構成を得るために使用され得る。本明細書で説明されるコンピュータプログラム製品は、持続性コンピュータ可読媒体に具現化されたコンピュータ実行可能コードを含み、当該コードは、１つ又は複数のコンピューティング装置で実行する場合、第１の方向から表面を照らしながら表面の第１のイメージをキャプチャするステップと、第２の方向から表面を照らしながら表面の第２のイメージをキャプチャするステップと、第１の方向および第２の方向から同時に表面を照らしながら表面の第３のイメージをキャプチャするステップと、第３のイメージと、第１のイメージ及び第２のイメージの加算結果（合計、合算）との間の差分を表すコスト関数を最小化しながら、第１のイメージ及び第２のイメージの少なくとも一方に、第３のイメージに対する動きモデルを適用することにより、第１のイメージを第２のイメージに整合し、それにより、動きモデルに従って第１のイメージを第２のイメージに揃える整合を行うステップとを、１つ又は複数のコンピューティング装置に実行させる。幾つかの具現化形態において、コスト関数は、ピクセル値の差分に基づく。幾つかの具現化形態において、コスト関数は、ピクセルのサブセットについて評価する。幾つかの具現化形態において、コスト関数は、イメージ類似性指標に基づく。幾つかの具現化形態において、コスト関数は、正規化された相関係数に基づく。幾つかの具現化形態において、ステップは、整合に従って揃えられる際に、第１のイメージ及び第２のイメージに基づいたシェイプ・フロム・シェーディングでもって、表面の三次元形状を復元することを含む。幾つかの具現化形態において、コスト関数を最小化することは、第３のイメージに対する第１のピクセルアレイにおける１つ又は複数のピクセル位置でのピクセル値と、１つ又は複数の対応する位置における第１のイメージ及び第２のイメージの加算結果との差分を最小化することを含む。幾つかの具現化形態において、動きモデルは、剛体平行移動および剛体回転の１つ又は複数の剛体動きモデルを含む。別の態様において、動きモデルは、第１のイメージ、第２のイメージ及び第３のイメージをキャプチャする撮像装置の姿勢において６つの自由度により誘導されるイメージの動きに対する剛体動きモデルを含む場合がある。幾つかの具現化形態において、動きモデルは、第１のイメージ、第２のイメージ及び第３のイメージの１つ又は複数のサブ領域に対して独立した動き追跡を使用する。幾つかの具現化形態において、動きモデルは、イメージ差異を追跡するための視認可能な１つ又は複数の基準を使用する。幾つかの具現化形態において、整合することは、第１のイメージ及び第２のイメージのダウンサンプリングされたインスタンスを整合し、ダウンサンプリングされたインスタンスから第１のイメージ及び第２のイメージのスケールへ動きパラメータをスケールアップすることにより第１のイメージ及び第２のイメージを整合するために、動きパラメータを計算すること、を含む。幾つかの具現化形態において、整合することは、第１のイメージ、第２のイメージ及び第３のイメージの２つ以上のダウンサンプリングされたバージョンに関して、再帰的にダウンサンプリングすること、整合すること、及び動きパラメータをスケーリングすることを含む。幾つかの具現化形態において、整合することは、第１のイメージ、第２のイメージ及び第３のイメージのそれぞれのピクセルアレイを複数の領域へ分割し、複数の領域のそれぞれから、コスト関数を評価するための１つ又は複数のピクセル位置を選択することを含む。幾つかの具現化形態において、整合することは、コスト関数を最小化するために、第１のイメージ、第２のイメージ及び第３のイメージのそれぞれのピクセルアレイにおけるピクセル位置のサブセットを選択することを含む。幾つかの具現化形態において、ピクセル位置のサブセットを選択することは、第３のイメージと第１のイメージ及び第２のイメージの加算結果との間のピクセル位置のサブセットの１つにおけるコスト関数の大きさに基づいて、ピクセル位置のサブセットの少なくとも１つを選択することを含む。本明細書で開示される方法は、表面の２つ以上のイメージをキャプチャし、２つ以上のイメージのそれぞれは、２つ以上の異なる照明条件下でキャプチャされ；２つ以上の異なる照明条件のそれぞれの下で同時に照明されている間の表面の合成イメージをキャプチャし；合成イメージと２つ以上のイメージの加算結果との間のイメージ差異を最小化しながら、動きモデルを適用することにより、２つ以上のイメージを整合する、ことを含む。２つ以上の異なる照明条件は、２つ以上の異なる照明方向を含む場合がある。２つ以上の異なる照明条件は、２つ以上の異なる照明波長を含む場合がある。２つ以上の異なる照明条件は、２つ以上の異なる照明パターンを含む場合がある。イメージ差異を最小化することは、合成イメージと２つ以上のイメージの加算結果との間の差分を表すコスト関数を最小化することを含む場合がある。２つ以上のイメージを整合することは、マルチイメージ整合アルゴリズムを用いて、２つ以上のイメージを整合することを含む場合がある。２つ以上のイメージを整合することは、最適化関数を最小化することを含む場合がある。２つ以上のイメージは、３つのイメージを含む場合がある。２つ以上のイメージは、６つのイメージを含む場合がある。２つ以上のイメージを整合することは、第１のイメージ整合において第１のグループの２つ以上のイメージを互いに揃え、第２のイメージ整合において第２のグループの２つ以上のイメージを互いに整合し、第３のイメージ整合において第１のイメージ整合を第２のイメージ整合に整合する、ことを含む場合がある。方法は、慣性計測装置からの入力に基づいて、動きモデルの変位に関する初期推定値を計算することを含む場合がある。方法は、２つ以上のイメージのそれぞれにおける視認可能な１つ又は複数の基準に基づいて、動きモデルの変位に関する初期推定値を計算することを含む場合がある。方法は、１つ又は複数の所定の位置ずれを、２つ以上の異なる照明条件下で照明されたイメージの組み合わせにおける１つ又は複数の視覚的アーティファクトと関連付けるためにトレーニングされた機械学習モデルによる評価に基づいて、動きモデルの変位に関する初期推定値を計算することを含む場合がある。本明細書で説明されるシステムは、検出面と共に変形可能な媒体を含むレトログラフィック・センサを含み、変形可能な媒体は、光学的に透明で変形可能な材料から形成され、検出面は、変形可能な媒体の一部を覆い、変形可能な媒体の第２の表面を通じて視認可能な反射面を提供する。また、システムは、変形可能な媒体の第２の表面を通じて反射面のイメージをキャプチャするために配置されたカメラも含む。また、システムは、カメラの光軸を中心とした３つ以上の方向のそれぞれから、変形可能な媒体を通じて検出面を独立して照明することにより、検出面の指向性照明を提供するように構成された照明システムも含む。また、システムは、処理回路も含み、処理回路は、３つ以上の方向のそれぞれからの検出面の個別の照明中に、カメラで検出面のイメージをキャプチャして、検出面の３つ以上のイメージを提供するためにカメラ及び照明システムを制御し、３つ以上の全ての方向から同時に照明されている間に検出面の合成イメージをキャプチャするためにカメラ及び照明システムを制御し、合成イメージと３つ以上のイメージの加算結果との間のイメージ差異を最小化しながら動きモデルを適用することにより３つ以上のイメージを整合し、それにより３つ以上のイメージを揃える整合を行い、シェイプ・フロム・シェーディングを用いて、検出面の三次元形状を復元する、ように構成されている。別の態様において、照明システムは、三次元データを抽出するために指向性照明の代わりに又は指向性照明に加えて、多数の逐次イメージと共に使用され得る、異なる照明パターン又は異なる波長のような、異なる照明条件下で反射面を照明するように構成され得る。処理回路は、撮像システム用のコントローラを含む場合があり、撮像システムは、レトログラフィック・センサ、カメラ及び照明システムを含む場合がある。処理回路は、３つ以上のイメージ及び合成イメージを受け取り、３つ以上のイメージを整合し、シェイプ・フロム・シェーディング及び３つ以上のイメージを揃える整合を用いて、検出面の三次元形状を復元するように構成されたクラウド・コンピューティング資源を含む場合がある。システムは、レトログラフィック・センサの基材を含む場合があり、変形可能な媒体は基材上に配置され、基材は、変形可能な媒体を機械的に支持する剛性で光学的に透明な材料から形成され、基材は、変形可能な媒体とカメラとの間に配置される。処理回路は、異なる照明条件下で１つ又は複数の追加のイメージを取得し、３つ以上のイメージ、合成イメージ及び１つ又は複数の追加のイメージを照明多重分離して、カメラの公称解像度より高い解像度で検出面から面法線値を取得するように構成され得る。これに関連して、理解されるように、用語「照明多重分離」は、イメージ取得後に生じる処理を意味することが意図されている。一般に、イメージは、多重化および多重分離される場合があり、例えば、この場合、イメージはイメージ取得中に多重化され、次いでイメージ処理中に多重分離され、システムは三次元再構成のためにこれら技術の一方または双方を