Search

JP-2026514777-A - ユニバーサル学習による道路分析

JP2026514777AJP 2026514777 AJP2026514777 AJP 2026514777AJP-2026514777-A

Abstract

モデルを訓練するための方法およびシステムは、道路シーンの画像を含むラベル付けされていない訓練データセットのサブセットにラベルで注釈を付けること（２０４）を含む。道路欠陥検出モデルは、ラベル付けされていない訓練データセットからの残りの例に擬似ラベルを追加し、ラベルと擬似ラベルとに基づいて道路欠陥検出モデルを訓練することを含む、繰り返し訓練される（２０６）。 【選択図】図２

Inventors

  • ガルグ、 スパーシュ
  • シュルター、 サミュエル
  • ズオン、 ビンビン
  • チャンドラカー、 マンモハン

Assignees

  • エヌイーシー ラボラトリーズ アメリカ インク

Dates

Publication Date
20260513
Application Date
20240326
Priority Date
20240325

Claims (20)

  1. コンピュータに実装された、モデルを訓練するための方法であって、 道路シーンの画像を含むラベル付けされていない訓練データセットのサブセットにラベルで注釈を付けること（２０４）と、 前記ラベル付けされていない訓練データセットからの残りの例に擬似ラベルを追加し、前記ラベルと前記擬似ラベルとに基づいて道路欠陥検出モデルを訓練することを含む、道路欠陥検出モデルを繰り返し訓練すること（２０６）と、を含む方法。
  2. 請求項１に記載の方法において、 前記訓練データセットが、ひび割れ、わだち、色あせた道路標示を含む道路欠陥の複数のカテゴリを描写する画像を含む方法。
  3. 請求項１に記載の方法において、 前記訓練データセットが、葉を描写する画像をさらに含む方法。
  4. 請求項３に記載の方法において、 さらに、葉が将来道路に危険をもたらす可能性のある場所を特定する葉検出モデルを訓練することを含む方法。
  5. 請求項４に記載の方法において、 前記葉検出モデルは、入力画像において葉に対応する画素と道路に対応する画素とを識別し、葉が道路上に広がる位置を決定する方法。
  6. 請求項５に記載の方法において、 前記葉検出モデルは、前記入力画像のセマンティックセグメンテーションと、前記入力画像に基づく深度マップとを組み合わせて、重なる葉のポイントと道路のポイントとを識別する方法。
  7. 請求項１に記載の方法において、 前記道路欠陥検出モデルを繰り返し訓練することは、前記ラベル付けされていない訓練データセットからの例に前記擬似ラベルを追加することを含み、前記擬似ラベルは、訓練の次の繰り返し使用されるように、閾値よりも高い信頼値を有する方法。
  8. 請求項７記載の方法において、 前記繰り返し訓練することは、前記ラベル付けされていない訓練データセットからの残りの例の全てが、前記閾値よりも高い信頼値を有する擬似ラベルが付けられた後に終了する方法。
  9. 請求項７に記載の方法において、 前記繰り返し訓練することは、所定の繰り返し回数の後に終了し、前記ラベル付けされていない訓練データセットからの残りの例のうち、信頼値が前記閾値よりも高い擬似ラベルを持たない例は、訓練から除外される方法。
  10. 請求項１に記載の方法において、 道路シーンの新たな画像をキャプチャすることと、 前記道路シーン内の道路の欠陥を特定することと、 前記欠陥を回避するように車両を自動的に操作することと、をさらに含む方法。
  11. モデルを訓練するためのシステムであって、 ハードウェアプロセッサ（５１０）と、 前記ハードウェアプロセッサによって実行されると、前記ハードウェアプロセッサに、 道路シーンの画像を含むラベル付けされていない訓練データセットのサブセットにラベルで注釈を付けること（２０４）と、 前記ラベル付けされていない訓練データセットからの残りの例に擬似ラベルを追加し、前記ラベルと前記擬似ラベルとに基づいて道路欠陥検出モデルを訓練することを含む、道路欠陥検出モデルを繰り返し訓練すること（２０６）と、を実行させるコンピュータプログラムを記憶するメモリ（５４０）と、システム。
  12. 請求項１１に記載のシステムにおいて、 前記訓練データセットが、ひび割れ、わだち、色あせた道路標示を含む道路欠陥の複数のカテゴリを描写する画像を含むシステム。
  13. 請求項１１に記載のシステムにおいて、 前記訓練データセットが、葉を描写する画像をさらに含むシステム。
  14. 請求項１３に記載のシステムにおいて、 前記コンピュータプログラムは、さらに、前記ハードウェアプロセッサに、葉が将来道路に危険をもたらす可能性のある場所を特定する葉検出モデルを訓練させるシステム。
  15. 請求項１４に記載のシステムにおいて、 前記葉検出モデルは、入力画像において葉に対応する画素と道路に対応する画素とを識別し、葉が道路上に広がる位置を決定するシステム。
  16. 請求項１５に記載のシステムにおいて、 前記葉検出モデルは、前記入力画像のセマンティックセグメンテーションと、前記入力画像に基づく深度マップとを組み合わせて、重なる葉のポイントと道路のポイントとを識別するシステム。
  17. 請求項１１に記載のシステムにおいて、 前記コンピュータプログラムは、さらに、前記ハードウェアプロセッサに、前記ラベル付けされていない訓練データセットからの例に前記擬似ラベルを追加させ、前記擬似ラベルは、訓練の次の繰り返しで使用されるように、閾値よりも高い信頼値を有するシステム。
  18. 請求項１７に記載のシステムにおいて、 前記繰り返し訓練することは、前記ラベル付けされていない訓練データセットからの残りの例の全てが、前記閾値よりも高い信頼値を有する擬似ラベルが付けられた後に終了するシステム。
  19. 請求項１７に記載のシステムにおいて、 前記繰り返し訓練することは、所定の繰り返し回数の後に終了し、前記ラベル付けされていない訓練データセットからの残りの例のうち、信頼値が前記閾値よりも高い擬似ラベルを持たない例は、訓練から除外されるシステム。
  20. 請求項１１に記載のシステムにおいて、 前記コンピュータプログラムは、さらに、前記ハードウェアプロセッサに、 道路シーンの新たな画像をキャプチャさせ、 前記道路シーン内の道路の欠陥を特定させ、 前記欠陥を回避するように車両を自動的に操作させるシステム。

Description

関連出願情報 本出願は、２０２３年４月２０日に出願された米国特許出願第６３／４６０，６５６号および２０２４年３月２５日に出願された米国特許出願第１８／６１５，５３５号の優先権を主張するものであり、それぞれ参照によりその全体が本明細書に組み込まれる。 本発明は、道路分析に関し、より詳細には、インフラを監視する機械学習システムに関する。 関連技術の説明 インフラのメンテナンスは、プロアクティブな部分とリアクティブな部分とを持つプロセスである。プロアクティブな部分には、問題の発生を未然に防ぐための定期的なメンテナンスが含まれるのに対し、リアクティブな部分には、すでに発生した欠陥やその他のインフラの問題の修復が含まれる。リアクティブメンテナンスは、このような欠陥の報告や発見に基づくもので、欠陥に関する情報が収集されるまでは実施できない。 モデルを訓練する方法は、道路シーンの画像を含むラベル付けされていない訓練データセットのサブセットにラベルで注釈を付けることを含む。ラベル付けされていない訓練データセットからの残りの例に擬似ラベルを追加し、ラベルと擬似ラベルとに基づいて道路欠陥検出モデルを訓練することを含む、道路欠陥検出モデルが繰り返し訓練される。 モデルを訓練するためのシステムは、ハードウェアプロセッサと、コンピュータプログラムを記憶するメモリとを含む。ハードウェアプロセッサによって実行されると、コンピュータプログラムは、ハードウェアプロセッサに、道路シーンの画像を含むラベル付けされていない訓練データセットのサブセットにラベルで注釈を付けさせ、ラベル付けされていない訓練データセットからの残りの例に擬似ラベルを追加することと、ラベルと擬似ラベルとに基づいて道路欠陥検出モデルを訓練することとを含む、道路欠陥検出モデルを繰り返し訓練させる。 これらおよび他の特徴および利点は、添付の図面と関連して読まれる、その例示的な実施形態の以下の詳細な説明から明らかになるであろう。 本開示は、以下の図を参照して、好ましい実施形態の以下の説明において詳細を提供する。 本発明の一実施形態による、道路シーン内の道路が欠陥を含む、道路シーン内の車両の図である。 本発明の一実施形態による、モデルを訓練するための方法のブロック／フロー図である。 本発明の一実施形態による、道路における障害を修復し回避するためにモデルを訓練し使用するための方法のブロック／フロー図である。 本発明の一実施形態による、道路の障害を自動的に検出して回避することができる自律走行車の構成図である。 本発明の一実施形態による、障害検出モデルを訓練して使用することができる演算装置のブロック図である。 本発明の一実施形態による、障害検出モデルで使用可能なニューラルネットワークアーキテクチャの図である。 本発明の一実施形態による、障害検出モデルで使用可能な深層ニューラルネットワークアーキテクチャの図である。 インフラの監視は自動化することができ、例えば自動運転車両のカメラなどを使ってインフラの状態に関する情報を収集し、欠陥や障害、保守や修理が必要と思われるその他の特徴を検出することができる。インフラのこのような自動監視は、メンテナンスが必要な注意すべき領域を特定し、悪天候やその他の環境危険の場合に監視し、その他の目的のために道路属性を検出することができる。このような属性は地図上に位置特定することができ、メンテナンス作業員を誘導するために使用したり、自動運転車両に潜在的な危険を知らせるために使用したりして、危険から遠ざけることができる。 そのために、機械学習モデルを使用して特定のインフラ問題を特定することができる。本明細書では特に道路状況を想定しているが、同じ原理を他の種類のインフラにも適用できることを理解されたい。例えば、路面の特定の問題は、ユニバーサルな学習アプローチを使用して特定することができ、モデルを訓練するための擬似ラベルを作成することができる。モデルは、比較的少ない注釈付き訓練サンプルで道路のメンテナンス領域を特定する。 ここで図１を参照すると、例示的な道路シーンが示されている。車両１０２が道路１００上を走行している。車両１０２は、道路１００に関する情報を収集するセンサを備えている。例えば、車両１０２は、複数の異なる視点から道路１００に関する視覚情報を取得し、シーンの広い範囲を提供するために、車両の周囲の異なる位置に配置された複数のビデオカメラ１０４を含むことができる。車両１０２は、車両１０２の全周囲の道路１００に関する幾何学的情報を収集するために配置された３６０度ＬｉＤＡＲセンサ１０６をさらに含むことができる。 車両１０２はセンサからの情報を記録する。この情報は、道路１００の欠陥を特定するために使用することができ、車両の安全運行を知らせたり、インフラ問題のメンテナンスの予定を立てたりするために使用することができる。センサはまた、他の車両１１４、街灯などの構造物、動物や歩行者など、環境内の他の物体に関する情報を収集することもできる。 例示的なインフラの欠陥や障害には、甌穴１０８、轍、ひび割れ１１０、道路標示１１２の色あせなどがある。他のタイプの欠陥や障害には、障害物や葉が道路に落ちたり届いたりすることがある。これらの欠陥は、一方または両方のモダリティに現れる可能性がある。例えば、ＬｉＤＡＲ情報は幾何学的情報に敏感であり、道路表面の形状を示す。これは甌穴１０８やひび割れ１１０を検出するのに特に有用であるが、ＬｉＤＡＲセンサ１０６は道路標示１１２の欠陥を識別するのが困難な場合がある。一方、視覚センサ１０４は、道路標示１１２の欠陥にはよく適応するが、照明条件が悪いと甌穴１０８やひび割れ１１０を見逃す可能性がある。さらに、異なるモダリティを組み合わせて使用すると、それぞれが独立して道路の欠陥を認識できる場合でも、互いに補強され、優れた結果が得られる。 次に図２を参照すると、モデル訓練方法２００が示されている。ブロック２０２は、ラベル付けされていない訓練データセットからのサンプルのセットに対してユニバーサルセグメンテーションを実行する。例えば、ユニバーサルセグメンテーションは、特定の欠陥に特化したモデルを訓練するための入力として機能する、道路シーンの属性などの異なるカテゴリのセマンティックマップを生成することができる。ブロック２０４は、セグメント化された画像に注釈を付ける。例えば、轍やひび割れを示す第１のサブセットと、色あせた線やその他の道路標示を示す第２のサブセットにラベルを付ける。これらの注釈は、欠陥に特化したモデルを訓練するためのグランドトゥルースとして機能する。 個々のモデルは、ブロック２０６において、特定のタイプの欠陥を検出するように訓練される。道路の欠陥の例に従うと、轍、甌穴、およびひび割れを検出するように訓練された検出器、色あせた道路標示を検出するように訓練された検出器、および葉を検出するように訓練された検出器があり得る。轍／ひび割れ検出器は、例えば、残差ニューラルネットワークバックボーンを使用して、「空」、「建物」、「道路」、「車」、「車線」、「轍」、「ひび割れ」などの画像特徴の確率を予測するセマンティック画像セグメンテーションタスクを訓練することができる。色あせ標示検出器は、入力を所定のサイズ（例えば、１２８×１２８ピクセル）の複数のチャンクに分割し、車線標示を表すピクセルを有するチャンクを識別しても良い。色あせ標示検出器は、所定のチャンクが色あせた車線標示を有するか否かを予測するために、残差ニューラルネットワークに基づく二値分類器を含んでも良い。葉検出器は、深度モデルを使用して入力画像の深度を特定し、得られた深度マップをポイント群に変換しても良い。樹木と道路とに対応するポイントはフィルタリングされ、道路の一部と重なる樹木の部分を表すポイントのパーセンテージが決定される。 これらの異なる検出器の出力を組み合わせて、轍、ひび割れ、色あせた標示、葉の予測位置を示す入力画像のオーバーレイを生成することができる。さらに、葉の位置を示すために、その領域の俯瞰図を表示することもできる。欠陥はさらに、全地球測位衛星（ＧＰＳ）によって測定された座標を使用して地図上に記録することができる。 轍／ひび割れ検出器および色あせ標示検出器は、教師あり訓練と教師なし訓練とを組み合わせた弱い教師ありアプローチを用いて訓練することができる。例えば、最初の教師あり訓練のために訓練データセットの一部（例えば１０％）のみに注釈を付け、残りを教師なし訓練に使用することができる。アノテーションには、轍やひび割れについて注釈付けされたサブセットと、色あせた標示について注釈付けされたサブセットとが含まれても良い。 教師なし訓練は、ブロック２０８において、訓練データセットの残りの部分（例えば、残りの９０％）について、モデルを使用して、信頼値を有する擬似ラベルを生成し、適用することによって実行され得る。信頼閾値を超える（例えば、５０％を超える）信頼値を有する擬似ラベルが付けられたこれらの訓練サンプルは、後続のエポックにおける更なる訓練２０６のために使用されても良い。このプロセスは繰り返し実行されても良く、ブロック２１０は、次の繰り返しのためにブロック２０６に戻る前に、訓練データのすべてがラベル付けされたかどうかを決定する。すべての訓練データセットが十分に信頼度の高い擬似ラベルでラベル付けされるまで、各繰り返しでより多くの画像が信頼度閾値に到達する。この時点で、検出器の最終的な訓練は、ブロック２１２で、ラベル付けされた画像のフルセットを使用して実行される。 場合によっては、１つ以上の画像が信頼度の閾値レベルに達しないケースがある。したがって、この繰り返し処理は、信頼度レベルがある安定した閾値未満の値に収束するまで、または所定の繰り返し回数に達するまで実行することができる。信頼度閾値未満のラベルが付いた画像は、検出器の最終的な訓練から除外することができる。 葉検出器は、カメラ位置からのオブジェクトの距離を示すために、入力画像から深度マップを生成しても良い。深度マップは、例えば、単眼深度推定モデルによって生成されても良い。また、ユニバーサルセグメンテーションモデルを使用して、入力画像内のオブジェクトのピクセル単位の分類を提供するために、画像に対してセマンティックマップを生成しても良い。深度マップのポイントは、そのセマンティックな意味に従ってフィルタリングされ、例えば、道路に属するポイントと樹木に属するポイントとを識別することができる。例えば、画像内の位置（ｘ，ｙ）にある所定の画素が道路または樹木に属する場合、その対応する深度ポイントが保存され、次にポイント群に変換されることがある。次に、ポイント群を鳥瞰行列に変換して、樹木のポイントが道路のポイントと重なっているかどうかを判断することができる。このような重なりがあれば、木の枝が損傷して道路に落ちている場合など、木の葉が障害となる可能性があることを示す。 次に図３を参照すると、道路障害検出システムを訓練して使用する方法が示されている。上述したように、モデルは、部分的に注釈が付けられたデータセットを用いて、例えば、ラベル付けされた訓練例の小さなサブセットに基づいてラベル付けされていないデータに対する独自の擬似ラベルを生成する弱い教師ありアプローチを用いて訓練することができる。モデルを訓練した後、実際の道路障害や潜在的な道路障害の特定に使用するために、ブロック３０２において展開することができる。 次に、このモデルを障害検出３０４に使用することができる。例えば、道路の損傷を特定するために、車両１０２のビデオカメラ１０４から新たな画像を収集しても良い。自動運転車両の場合、ブロック３０６は車両に指示を出し、例えば、甌穴やその他の危険物を避けるために方向を変えるなどして、道路障害を回