JP-2026077585-A - 鳥瞰図マップを使用した車線指示用システム及び方法

JP2026077585AJP 2026077585 AJP2026077585 AJP 2026077585AJP-2026077585-A

Abstract

【課題】鳥瞰図マップを使用した車線指示用システム及び方法。【解決手段】１つ以上の接近車両を検出するためのシステム及び方法は、１つ以上のプロセッサと、自車両の周囲の１つ以上の画像を撮像するように動作可能なインフラストラクチャカメラと、を含む。周囲は、ランプと、高速道路の１つ以上の車線と、１つ以上の接近車両とを含み、ランプ及び車線は少なくとも１つの合流地点を共有する。１つ以上のプロセッサは、周囲の１つ以上の画像を、周囲の鳥瞰図に変換し、鳥瞰図に基づいて、静的セグメンテーションマップ及び、静的セグメンテーションマップにおける１つ以上の動的物体を生成し、自車両及び１つ以上の動的物体のレンジ推定に基づいて、ランプ及び車線の車線占有を予測し、予測された車線占有についての情報を自車両に送信する、ように動作可能である。【選択図】図１Ｂ

Inventors

ロヒトグプタ
チーチェン
ダウェイチェン

Assignees

トヨタ自動車株式会社

Dates

Publication Date: 20260513
Application Date: 20251009
Priority Date: 20241015

Claims (20)

１つ以上の接近車両を検出する方法であって、インフラストラクチャカメラにより撮像された自車両の周囲の１つ以上の画像を、前記周囲の鳥瞰図に変換することであって、前記周囲は、ランプと、高速道路の１つ以上の車線と、前記１つ以上の接近車両とを含み、前記ランプ及び前記車線は少なくとも１つの合流地点を共有する、変換することと、前記鳥瞰図に基づいて、静的セグメンテーションマップ及び、前記静的セグメンテーションマップにおける１つ以上の動的物体を生成することと、前記自車両及び前記１つ以上の動的物体のレンジ推定に基づいて、前記ランプ及び前記車線の車線占有を予測することと、前記予測された車線占有についての情報を前記自車両に送信することと、を含む、方法。
請求項１の方法であって、前記静的セグメンテーションマップは、道路の静的な物体及び構造物を表すラベリングされた領域を備える、方法。
請求項２の方法であって、前記静的セグメンテーションマップは、１つ以上の背景領域と、１つ以上の車線マーク領域と、１つ以上の道路境界領域と、を備える、方法。
請求項１の方法であって、前記動的物体は前記周囲における移動物体を表し、前記移動物体は前記高速道路及び前記ランプ上の移動車両及び歩行者を含む、方法。
請求項１の方法であって、前記方法は、車線インジケータライトに前記車線占有を表示することを更に含む、方法。
請求項１の方法であって、前記インフラストラクチャカメラは、前記合流地点又はその付近に配置される、方法。
請求項１の方法であって、前記静的セグメンテーションマップ及び前記動的物体は、前記周囲の過去の静的セグメンテーションマップに更に基づいて生成される、方法。
請求項１の方法であって、前記方法は、前記１つ以上の動的物体の移動速度と、前記自車両と前記１つ以上の動的物体との間の相対距離と、を予測することを更に含む、方法。
請求項８の方法であって、前記方法は、前記車線占有、前記１つ以上の動的物体の前記移動速度、及び前記自車両と前記１つ以上の動的物体との間の前記相対距離に基づいて、前記自車両と前記１つ以上の動的物体のそれぞれとの衝突確率を予測することを更に含む、方法。
請求項９の方法であって、前記方法は、前記衝突確率が閾値確率を超えているかを決定することと、前記衝突確率が前記閾値確率を超えていると決定することに応じて、前記自車両に、前記１つ以上の動的物体のうちの少なくとも１つとの潜在的衝突を警告することと、を更に含む、方法。
請求項１０の方法であって、前記方法は、前記衝突確率が前記閾値確率を超えていると決定することに応じて、前記自車両を、前記潜在的衝突を回避するように動作させることを更に含む、方法。
１つ以上の接近車両を検出するためのシステムであって、前記システムは、自車両の周囲の１つ以上の画像を撮像するように動作可能なインフラストラクチャカメラであって、前記周囲は、ランプと、高速道路の１つ以上の車線と、前記１つ以上の接近車両とを含み、前記ランプ及び前記車線は少なくとも１つの合流地点を共有する、インフラストラクチャカメラと、１つ以上のプロセッサであって、前記周囲の１つ以上の画像を、前記周囲の鳥瞰図に変換し、前記鳥瞰図に基づいて、静的セグメンテーションマップ及び、前記静的セグメンテーションマップにおける１つ以上の動的物体を生成し、前記自車両及び前記１つ以上の動的物体のレンジ推定に基づいて、前記ランプ及び前記車線の車線占有を予測し、前記予測された車線占有についての情報を前記自車両に送信する、ように動作可能である、１つ以上のプロセッサと、を備える、システム。
請求項１２のシステムであって、前記静的セグメンテーションマップは、道路の静的物体及び構造物を表すラベリングされた領域と、１つ以上の背景領域と、１つ以上の車線マーク領域と、１つ以上の道路境界領域と、を備える、システム。
請求項１２のシステムであって、前記動的物体は前記周囲における移動物体を表し、前記移動物体は前記高速道路及び前記ランプ上の移動車両及び歩行者を含む、システム。
請求項１２のシステムであって、前記１つ以上のプロセッサは、車線インジケータライト上に前記車線占有を表示するように更に動作可能である、システム。
請求項１２のシステムであって、前記インフラストラクチャカメラは、前記合流地点又はその付近に配置される、システム。
請求項１２のシステムであって、前記静的セグメンテーションマップ及び前記動的物体は、前記周囲の過去の静的セグメンテーションマップに更に基づいて生成される、システム。
請求項１２のシステムであって、前記１つ以上のプロセッサは、前記１つ以上の動的物体の移動速度と、前記自車両と前記１つ以上の動的物体との間の相対距離と、を予測するように更に動作可能である、システム。
請求項１８のシステムであって、前記１つ以上のプロセッサは、前記車線占有、前記１つ以上の動的物体の前記移動速度、及び前記自車両と前記１つ以上の動的物体との間の前記相対距離に基づいて、前記自車両と前記１つ以上の動的物体のそれぞれとの衝突確率を予測し、前記衝突確率が閾値確率を超えているかを決定し、前記衝突確率が前記閾値確率を超えていると決定することに応じて、前記自車両に、前記１つ以上の動的物体のうちの少なくとも１つとの潜在的衝突を警告する、ように更に動作可能である、システム。
請求項１９のシステムであって、前記１つ以上のプロセッサは、前記衝突確率が前記閾値確率を超えていると決定することに応じて、前記自車両を、前記潜在的衝突から回避するように動作させるように更に動作可能である、システム。

Description

本開示は、地理空間的マッピング及び高度な運転支援に関するシステム及び方法に関し、特に、リアルタイムの車線指示を用いて車両運転支援を向上させるシステム及び方法に関する。道路構成の複雑さは、運転者の混乱を引き起こし得、且つ、特に合流地点などの重要な領域において、適切な運転判断をする能力を阻害し得る。斯かる状況において、運転者は、車線の利用可能性、今後の交通パターン、又は所望の態様で移動中の交通に合流する方法を把握するのに苦労し得る。したがって、運転者が情報に基づいて適時に運転判断を行うことを可能にする、リアルタイムの車線指示用のシステム及び方法が必要とされている。一実施形態例において、１つ以上の接近車両を検出する方法は、インフラストラクチャカメラにより撮像された自車両の周囲の１つ以上の画像を、周囲の鳥瞰図に変換することであって、周囲は、ランプと、高速道路の１つ以上の車線と、１つ以上の接近車両とを含み、ランプ及び車線は少なくとも１つの合流地点を共有する、変換することと、鳥瞰図に基づいて、静的セグメンテーションマップ及び、静的セグメンテーションマップにおける１つ以上の動的物体を生成することと、自車両及び１つ以上の動的物体のレンジ推定に基づいて、ランプ及び車線の車線占有を予測することと、予測された車線占有についての情報を自車両に送信することと、を含む。別の実施形態において、１つ以上の接近車両を検出するためのシステム及び方法は、１つ以上のプロセッサと、自車両の周囲の１つ以上の画像を撮像するように動作可能なインフラストラクチャカメラと、を含む。周囲は、ランプと、高速道路の１つ以上の車線と、１つ以上の接近車両とを含み、ランプ及び車線は少なくとも１つの合流地点を共有する。周囲の１つ以上の画像を、周囲の鳥瞰図に変換し、鳥瞰図に基づいて、静的セグメンテーションマップ及び、静的セグメンテーションマップにおける１つ以上の動的物体を生成し、自車両及び１つ以上の動的物体のレンジ推定に基づいて、ランプ及び車線の車線占有を予測し、予測された車線占有についての情報を自車両に送信する、ように動作可能である、１つ以上のプロセッサ。本開示の実施形態により提供されるこれらの及び追加の特徴は、図面と合わせて後述する詳細な説明を参照することで、より十分に理解されよう。図面で示された実施形態は、本質的に説明及び例示のためのものであり、開示物を限定することは意図されていない。例示的な実施形態の後続する詳細な説明は、同様の構造が同様の参照番号で示される以下の図面と併せて読まれるときに理解されることができる。図１Ａは、本明細書に示され且つ記載された１つ以上の実施形態に係る、本開示の道路及びランプ用の鳥瞰図マップを用いたインフラストラクチャ支援を伴う、改良された車線指示用のシステムの一例を模式的に示している。図１Ｂは、本明細書に示され且つ記載された１つ以上の実施形態に係る、本開示の道路及びランプ用の鳥瞰図マップを用いたインフラストラクチャ支援を伴う、改良された車線指示用のシステムの一例を模式的に示している。図２は、本明細書に示され且つ記載された１つ以上の実施形態に係る、本開示の鳥瞰図マップを用いたインフラストラクチャ支援を伴う、改良された車線指示用のシステムのコンポーネントの一例を模式的に示している。図３は、本明細書に示され且つ記載された１つ以上の実施形態に係る、本開示の改良された車線指示の生成のブロック図を示している。図４は、本明細書に示され且つ記載された１つ以上の実施形態に係る、本開示のセグメンテーションマップの一例を模式的に示している。図５は、本明細書に示され且つ記載された１つ以上の実施形態に係る、本開示の鳥瞰図マップを用いたインフラストラクチャ支援を伴う、改良された車線指示のための例示的な工程のフローチャートを示している。本明細書に開示された実施形態は、鳥瞰図（bird’s-eye view）マップを用いたインフラストラクチャ支援を伴う、改良された車線指示及び接近車両のためのシステム及び方法を含む。開示されたシステムは、高速道路及びランプの合流地点周りの周囲の画像を撮像するために、１つ以上のインフラストラクチャカメラ２０８を使用する。高速道路及び／又はランプは、１つ以上の車線を含み得る。システムは、画像を周囲の鳥瞰図に変換し、且つ鳥瞰図に基づいて、静的セグメンテーションマップ及び静的セグメンテーションマップにおける１つ以上の動的物体を更に生成し得る。システムはその後、レンジ推定（range estimation）に基づいてランプ及び車線の車線占有を予測し、且つ車線占有情報を、関心のある車両に更に提供し得る。運転者及びランプ上の車両の視界は、木々、道路の複雑さ（例えば、インターチェンジ、高架ランプ（elevated ramps））、及び照明条件（例えば、太陽光、街灯）などの様々な障害物によって、断続的に遮られ又は影響を受ける場合がある。これらの要因は、他の車両を明確に視認し、特に車線の合流に関して、情報に基づいた判断を行う運転者の能力を損ない得る。例えば、運転者は、本線又はランプ上のどの車線が接近車両により占有されているかを識別するのに苦労し、その結果、所望の合流判断を行うことが困難になり得る。図１Ｂに示された、複数のランプ及び高速道路を特徴とする複雑な道路構成を有するシナリオを想定する。この状況において、より低いランプ上にある車両と、高架ランプ（elevated ramp）上の高速道路から退出する別の車両との両方が、ランプ接続部における同一の合流地点に接近し得る。より低いランプ上の車両の運転者は、ランプ構造自体及び太陽光などの視覚的障害物により、高架ランプ上の車両を検出することができない場合がある。さらに、幹線道路上に複数の車両が存在することにより、運転者は、高架ランプ上の車両が依然として高速道路上を走行しているのか、又はランプに向かって積極的に接近しているのかについて混乱し得る。同様に、図１Ａに示されたシナリオにおいて、ランプから高速道路に合流するために走行する車両の運転者は、合流地点に接近する車両が右車線上にあるのか又は左車線上にあるのかについて混乱し得る。開示されたシステム及び方法は、インフラストラクチャ支援技術及び鳥瞰図マッピングによりサポートされる改良された車線指示を利用することにより、これらの課題に対処する。インフラストラクチャカメラは車線占有（lane occupancy）を監視し、ランプ又は照明などの障害物から干渉されることなく、車線のリアルタイム画像を撮像する。これにより、車線使用に関するより完全で且つ正確な情報が提供可能である。鳥瞰図マッピング及びセグメンテーションを含む画像処理技術を通じて、車線活動（lane activity）の動的な表示が生成され、これにより、運転者が、どの車線が占有されているかをより良好に理解し、且つ情報に基づいた合流判断を行うことを可能にする。結果として、これらのシステム及び方法は、明確な車線指示情報を提供し、混乱を低減させ、かつランプを走行する車両の全体的な運転体験を向上させることにより、複雑な道路上における運転体験を大幅に改善し得る。本明細書で使用されるとき、単数形「ａ」、「ａｎ」及び「ｔｈｅ」は、文脈上異なったことを示していない限り、複数の参照対象物を含む。したがって、例えば、「“ａ”ｃｏｍｐｏｎｅｎｔ」への言及は、文脈上異なったことを示していない限り、「ｃｏｍｐｏｎｅｎｔｓ」のような２以上を有する態様を含む。可能な限り、同一又は同様な部分を参照するために、図面を通して同一の参照番号が使用される。図面を参照すると、図１Ａ及び図１Ｂは、本開示の鳥瞰図マップを用いたインフラストラクチャ支援を伴う改良された車線指示用の改良された車線指示システム１００の一例を示している。改良された車線指示システム１００は、インフラストラクチャカメラ２０８及び車線インジケータライト１０５を含み得る。インフラストラクチャカメラ２０８は、自車両（ego vehicle）１０１の周囲１５０の１つ以上の画像を撮像し得る。周囲１５０は、例えば、ランプ１３１、高速道路１２０の１つ以上の車線１２１、及び１つ以上の他車両（non-ego vehicle）１０３などを含み得る。ランプ１３１及び車線１２１は、少なくとも１つの合流地点１５３を共有し得る。いくつかの実施形態において、自車両１０１は、１つ以上の他車両１０３が高速道路１２０上を移動し得るときに、ランプ１３１を移動して合流地点１５３において高速道路１２０に合流し得、これにより、他車両１０３は、（例えば、図１Ａのように）合流地点１５３において自車両１０１と潜在的な干渉及び／又は衝突を引き起こし得る。いくつかの実施形態において、１つ以上の他車両１０３は、自車両１０１がランプ１３１ａ又は道路上を移動するときに、高速道路１２０から出て、合流地点１５３でランプ１３１ｂ又は道路に合流し得、これにより、（例えば、図１Ｂのように）合流地点１５３において潜在的な干渉及び／又は衝突が存在し得る。ある実施形態において、インフラストラクチャカメラ２０８は、これらに限定されないが、カメラ、近接センサ、光検出及び測距（ＬＩＤＡＲ）センサ、サーマル画像センサ、赤外線センサ、超音波センサ、及び／又はこれらの組み合わせの選択肢を含み得る。カメラは、これらに限定されないが、赤、緑、及び青（ＲＧＢ）カメラ、深度カメラ、赤外線カメラ、広角カメラ、又は立体カメラであり得る。インフラストラクチャカメラ２０８は、紫外線波長帯、可視光線波長帯、又は赤外線波長帯における放射を検出可能な検知装置の配置を有する任意の装置であり得る。インフラストラクチャカメラ２０８は、任意の解像度を有し得る。いくつかの実施形態において、ミラー、魚眼レンズ、又は任意の他の種類のレンズなどの１つ以上の光学的構成要素は、インフラストラクチャカメラ２０８に光学的に接続され得る。インフラストラクチャカメラ２０８は、周囲１５０の画像を撮像するために、合流地点１５３周りに配置され得る。いくつかの実施形態において、インフラストラクチャカメラ２０８は、これらに限定されないが、信号機用柱及び車線インジケータライト１０５などの固定構造物に搭載され得る。いくつかの実施形態において、インフラストラクチャカメラ２０８は、これらに限定されないが、ドローンなどの移動物体に搭載され得る。画像は、２次元（２Ｄ）表現などの、周囲１５０の透視図を含み得る。いくつかの実施形態において、改良された車線指示システム１００は、ビジョントランスフォーマモジュール（vision transformer module）２２２、セグメンテーションマップモジュール（segmentation map module）２３２、及び車線占有モジュール（lane occupancy module）２４２などの、１つ以上のモジュールを含み得る。ビジョントランスフォーマモジュール２２２は、透視図を、３次元（３Ｄ）表現を用いた鳥瞰視点認識（bird’s-eye view perception）に変換し得る。セグメンテーションマップモジュール２３２は、周囲１５０における静的物体を表す静的セグメンテーションマップを生成するため、及び車両（例えば、自車両１０１及び他車両１０３）、歩行者、又は他の移動物体などの１つ以上の動的物体を検出するために、鳥瞰視点認識を使用し得る。車線占有モジュール２４２は、高速道路１２０及びランプ１３１の各車線１２１についての自車両１０１及び動的物体のレンジ推定に基づいて、占有状態を決定及び／又は予測し得る。いくつかの実施形態において、占有状