Search

JP-2026077554-A - スマートコックピット統合システム及びその歩行者検知方法

JP2026077554AJP 2026077554 AJP2026077554 AJP 2026077554AJP-2026077554-A

Abstract

【課題】本開示は、スマートコックピット統合システムを提供する。 【解決手段】サラウンドビュー映像撮影装置は、車両周囲のサラウンドビュー映像を撮影することに用いられる。サラウンドビュー映像検知サーバーは、サラウンドビュー映像撮影装置に接続されて、サラウンドビュー映像を受信し、歩行者検知モジュール、映像分析モジュール及び警告モジュールを含む。歩行者検知モジュールは、歩行者検知モデルを使用してサラウンドビュー映像を検知した後、サラウンドビュー映像内の歩行者映像を囲む検知枠を生成することに用いられる。映像分析モジュールは、検知枠の映像中心に対する相対位置に基づいて検知枠上の検知点を決定して、検知点と映像中心との歩行者距離を計算することに用いられる。警告モジュールは、歩行者距離が警告距離以下であるかどうかを判断し、警告信号を生成することに用いられる。 【選択図】図１

Inventors

  • 徐學賢
  • 王承謙
  • 謝正達

Assignees

  • 奇美車電股▲ふん▼有限公司

Dates

Publication Date
20260513
Application Date
20250620
Priority Date
20241025

Claims (10)

  1. スマートコックピット統合システムであって、 車両周囲のサラウンドビュー映像を撮影することに用いられるサラウンドビュー映像撮影装置であって、前記サラウンドビュー映像が前記サラウンドビュー映像撮影装置の下方を映像中心として空中に向かって延伸するサラウンドビュー映像撮影装置と、 前記サラウンドビュー映像撮影装置に接続されて前記サラウンドビュー映像を受信するサラウンドビュー映像検知サーバーと、 を備え、 前記サラウンドビュー映像検知サーバーは、 歩行者検知モデルを用いて前記サラウンドビュー映像を検知した後、前記サラウンドビュー映像中の歩行者映像を囲む検知枠を生成する歩行者検知モジュールと、 前記歩行者検知モジュールに接続されて、前記検知枠の前記映像中心に対する相対位置に基づいて前記検知枠上の検知点を決定して、前記検知点と前記映像中心との歩行者距離を計算するための映像分析モジュールと、 前記映像分析モジュールに接続されて、前記歩行者距離が警告距離以下であるかを判断し、そうであれば警告信号を生成する警告モジュールと、を含むスマートコックピット統合システム。
  2. 前記歩行者映像は、前記サラウンドビュー映像中の任意の回転方向における歩行者の上半身から全身までの範囲である請求項１に記載のスマートコックピット統合システム。
  3. 前記警告モジュールは、前記歩行者映像が歩行者の全身に対応しないかどうかを判断し、そうであれば前記警告信号を生成することに更に用いられる請求項２に記載のスマートコックピット統合システム。
  4. 前記映像分析モジュールは、前記歩行者距離を計算する前に、前記検知枠の対応範囲に対して歪み補正処理を実行する請求項１に記載のスマートコックピット統合システム。
  5. 前記警告距離は第１警告距離及び第２警告距離を含み、前記警告信号は第１警告信号及び第２警告信号を含み、前記警告モジュールは、前記歩行者距離が前記第１警告距離以下であると判断した場合に前記第１警告信号を生成し、前記歩行者距離が前記第２警告距離以下であると判断した場合に前記第２警告信号を生成する請求項１に記載のスマートコックピット統合システム。
  6. 前記歩行者検知モデルを訓練するための複数の訓練用サラウンドビュー映像の取得領域は、鉱山、林場、貨物埠頭、工事現場、農地、倉庫の少なくとも１つを含む請求項１に記載のスマートコックピット統合システム。
  7. 前記歩行者検知モデルを訓練するための複数の訓練用サラウンドビュー映像は、視角変換によるデータ拡張が施された複数の拡張サラウンドビュー映像を含む請求項１に記載のスマートコックピット統合システム。
  8. 前記サラウンドビュー映像検知サーバーに接続された表示装置を更に含み、ただし、前記サラウンドビュー映像検知サーバーは、前記警告モジュールに接続された映像変換モジュールを更に含み、 前記映像変換モジュールは、前記サラウンドビュー映像を少なくとも１つの平面映像に変換し、前記表示装置に送信して表示させることに用いられる請求項１に記載のスマートコックピット統合システム。
  9. スマートコックピット統合システムに用いられる歩行者検知方法であって、 車両周囲のサラウンドビュー映像を撮影することと、 前記サラウンドビュー映像を検知した後、前記サラウンドビュー映像中の歩行者映像を囲む検知枠を生成することと、 前記検知枠の映像中心に対する相対位置に基づいて前記検知枠上の検知点を決定して、前記検知点と前記映像中心との歩行者距離を計算することと、 前記歩行者距離が警告距離よりも小さいかどうかを判断し、そうであれば警告信号を生成することと、 を含み、 また、前記サラウンドビュー映像は、サラウンドビュー映像撮影装置の下方を映像中心として空中に向かって延伸する歩行者検知方法。
  10. 前記歩行者映像は、前記サラウンドビュー映像中の任意の回転方向における歩行者の上半身から全身までの範囲である請求項９に記載の歩行者検知方法。

Description

本開示は、スマートコックピット統合システム及びその歩行者検知方法に関し、特に、歩行者を検知し対応する警告を発することができるスマートコックピット統合システム及びその歩行者検知方法に関する。 従来の車両サラウンドビューシステムでは、視野範囲が狭いレンズを使用するため、運転者の視野の死角を補うように車両の複数の方向に複数のレンズを設置する必要がある。 実施例及びその利点をより完全に理解するために、添付の図面と組み合わせて以下の説明を参照する。 本開示の一実施例におけるスマートコックピット統合システムの模式図である。 本開示の一実施例におけるサラウンドビュー映像撮影装置の取り付けの模式図である。 本開示の一実施例におけるサラウンドビュー映像撮影装置の取り付けの後視模式図である。 本開示の一実施例におけるサラウンドビュー映像の模式図である。 本開示の一実施例における歩行者検知方法のフローチャートである。 本開示の一実施例におけるサラウンドビュー映像での歩行者検知の模式図である。 本開示の一実施例における訓練用サラウンドビュー映像のデータ拡張の模式図である。 本開示の一実施例におけるサラウンドビュー映像の表示の模式図である。 以下、本開示の実施例について詳細に説明する。しかしながら、理解できるように、実施例は、様々な特定のコンテンツに実施できる多くの応用可能な概念を提供する。議論された開示の実施例は、説明のためだけであり、本開示の範囲を限定するものではない。 本開示で用いられる用語「接続」は、直接的又は間接的な電気的接続又は通信接続を意味し、「第１」、「第２」は複数の同一又は類似の概念の要素を区別するためだけで、前記複数の素子の特定の順序関係を指すものではない。また、本開示において映像中の特定の人、物、又はイベントを記述する場合、用語の後に特に「映像」が追加されていなくても、映像中の対応する特定の人、物、又はイベントの映像であると理解されるべきである。 本開示は、スマートコックピット統合システム及びその歩行者検知方法を提供して、特殊な領域の車両又は機器の周囲を検知し、それに基づいて歩行者が接近しているかどうかを判断して警告を生成し、これにより、車両周辺の歩行者の安全性を確保する。 図１は、本開示の一実施例におけるスマートコックピット統合システム１００の模式図である。図１に示すように、スマートコックピット統合システム１００は、サラウンドビュー映像検知サーバー１１０、サラウンドビュー映像撮影装置１２０、警告装置１３０、及び表示装置１４０を含み、サラウンドビュー映像検知サーバー１１０がサラウンドビュー映像撮影装置１２０、警告装置１３０、及び表示装置１４０に接続される。サラウンドビュー映像検知サーバー１１０は、歩行者検知モジュール１１１、映像分析モジュール１１２、警告モジュール１１３、及び映像変換モジュール１１４を含み、且つ歩行者検知モジュール１１１は映像分析モジュール１１２に接続され、映像分析モジュール１１２は警告モジュール１１３に接続され、警告モジュール１１３は映像変換モジュール１１４に接続され、各モジュールは相互にデータ又は信号を伝送することができ、上記の相互に接続された両者間での伝送に限定されない。サラウンドビュー映像検知サーバー１１０によって車両周囲のサラウンドビュー映像が撮影された後、サラウンドビュー映像検知サーバー１１０に送信されて歩行者検知及び分析が行われ、警告装置１３０によって対応する警告が発せられ、表示装置１４０によって対応する映像が表示される。 一実施例では、サラウンドビュー映像撮影装置１２０は魚眼レンズであってよく、この魚眼レンズが真下に向けて撮影する場合、下方を映像中心として周囲３６０度、かつ後方から下方を経て前方まで少なくとも１８０度の半球面範囲のサラウンドビュー映像を撮影できる。したがって、一般的な映像撮影装置に比べて、少数（例えば１つ）の場合でも極めて広い視野角で周囲のサラウンドビュー映像を撮影できる。サラウンドビュー映像撮影装置１２０は、車両（例えば一般車両、大型建設車両、又は農業用車両など）に取り付けられることができる。サラウンドビュー映像検知サーバー１１０、警告装置１３０及び表示装置１４０は、この車両に設置される装置、及び／又は監視室に設置され遠隔接続される装置であってもよい。或いは、サラウンドビュー映像検知サーバー１１０は、小型でサラウンドビュー映像撮影装置１２０と共に車両に設置される装置であってもよく、本開示はこれらに特に制限を設けない。 スマートコックピット統合システム１００が使用可能な領域には、例えば、鉱山、林場、貨物埠頭、工事現場、農地、倉庫などが含まれ、これらの領域の車両や機械、例えば、フォークリフト、耕運機、ショベルカーなどに取り付けられることができる。これにより、オペレーターは、スマートコックピット統合システム１００を使用して近くの歩行者（例えば現場作業員）が車両や機械の周囲に現れたかどうかを検知し、対応的に警告を発することができる。以下、車両を例としてスマートコックピット統合システム１００におけるサラウンドビュー映像撮影装置１２０の取り付けについて説明する。 図２は、本開示の一実施例におけるサラウンドビュー映像撮影装置１２０の取り付けの模式図である。図２（ａ）に示す側面模式図のように、サラウンドビュー映像撮影装置１２０は、ブラケットを使用して車両２００の後方に設置される。一実施例では、車両２００は、フォークリフトである。図２（ｂ）に示す上面模式図を参照すると、車両２００のフロントが方向Ｄを向いており、この時サラウンドビュー映像撮影装置１２０が撮影する車両周辺のサラウンドビュー映像の範囲は、角度ａの範囲Ａである。サラウンドビュー映像撮影装置１２０が、例えば車両の高い位置（ルーフやサンルーフ上など）から延長ブラケットを介して設置され、車両２００の後方に距離ｄ１だけ延長した位置に取り付けられる場合、この時サラウンドビュー映像撮影装置１２０が撮影する車両周辺のサラウンドビュー映像の範囲は、角度ｂの範囲Ｂである。範囲Ａ、Ｂは、角度ａ、ｂの対応範囲だけを示すことに用いられ、サラウンドビュー映像撮影装置１２０が撮影可能な最遠距離は、範囲Ａ、Ｂに限定されず、実際の装置が撮影可能な最遠距離による。 これからわかるように、サラウンドビュー映像撮影装置１２０の車両２００への取り付け位置と車体との距離は、その撮影可能な角度及び範囲に影響を与える。一般的に、車両２００の運転席が車両２００の車体の前方（即ち車両２００の方向Ｄ側）に設置されるが、前方の周囲の景物は運転者が直接判断できる。しかしながら、車体が大きい場合には、車体に運転者の視認範囲を補完するための映像撮影装置を取り付ける必要がある。例えば、車体のタイプ及び検知が必要な範囲に基づいて、サラウンドビュー映像撮影装置１２０の車両２００への取り付け位置を決定することができる。また、一実施例では、窓や車体が透明又は遮蔽されていない場合、サラウンドビュー映像撮影装置１２０が車両２００の後側に取り付けられても、窓や車体の遮蔽されていない部分を通じて、非透過性の車体に比べてより広い視野角を検知することができ、運転者の側方ないし前方の領域を含むことができる。 また、サラウンドビュー映像撮影装置１２０の車両への取り付け高さもその撮影範囲に影響を与える。図３は、本開示の一実施例におけるサラウンドビュー映像撮影装置１２０の取り付けの後視模式図である。図３を参照すると、サラウンドビュー映像撮影装置１２０が車両２００の上方に取り付けられた場合、車両２００の撮影範囲は車体自体によって制限される。例えば、サラウンドビュー映像撮影装置１２０が車両２００の上方に距離ｄ２だけ延長した位置に取り付けられる場合、角度ｃ１、ｃ２の範囲内の景物だけが撮影され、範囲Ｃ１、Ｃ２はこのサラウンドビュー映像撮影装置１２０の死角となる。 図３に示すように、歩行者Ｈ１及びＨ２が車両２００の周囲の地面Ｇ上に立っている場合、歩行者Ｈ１が角度ｃ２の範囲内に立っているため、サラウンドビュー映像撮影装置１２０によって全身が撮影されるが、歩行者Ｈ２が範囲Ｃ２に対応する地面Ｇ上に立っているため、サラウンドビュー映像撮影装置１２０は歩行者Ｈ１の角度ｃ２の範囲内の上半身だけを撮影することができる。しかしながら、この場合、歩行者Ｈ２が車両２００により近く、即ち歩行者Ｈ２が立っている場所の危険度は歩行者Ｈ１よりも高い。したがって、サラウンドビュー映像撮影装置１２０がサラウンドビュー映像を撮影した後、このサラウンドビュー映像に基づいて歩行者の検知と警告を行う必要がある場合、この歩行者Ｈ２の半身映像も検出できなければならない。これからわかるように、サラウンドビュー映像撮影装置１２０の設置高さを調整することで撮影可能な範囲を決定でき、したがって、サラウンドビュー映像撮影装置１２０は、例えば車両の高い位置（ルーフやサンルーフ上など）に延長ブラケットを介して取り付けられることができる。例えば、車両の高さが１９０ｃｍの場合、サラウンドビュー映像撮影装置１２０は１９０ｃｍ～３００ｃｍの高さの位置に設置することができる。 図４は、本開示の一実施例におけるサラウンドビュー映像４００の模式図であり、サラウンドビュー映像撮影装置１２０がサラウンドビュー映像４００によって撮影された、未処理の状態で人目が見える映像である。一実施例では、サラウンドビュー映像撮影装置１２０は、車両２００の上方に取り付けられ、下方向に向かって撮影され、サラウンドビュー映像４００は、その下方の映像中心４１０を中心に地面Ｇから空中に向かって延伸する。正常な方向で立っている場合、歩行者Ｈ３、Ｈ４、Ｈ５の映像はいずれも足が映像中心４１０の方向を向いており、撮影後にサラウンドビュー映像４００を観察及び分析する際、歩行者Ｈ３、Ｈ４、Ｈ５が任意の回転方向である可能性がある。また、上述のように、歩行者Ｈ５は車体により近いためサラウンドビュー映像撮影装置１２０の死角範囲に位置しており、したがって歩行者Ｈ５の映像は上半身のみが撮影された。 図５は、本開示の一実施例におけるサラウンドビュー映像検知方法５００のフローチャートである。以下、図１及び図５を参照して、スマートコックピット統合システム１００の動作を説明する。 まず、工程Ｓ５１０において、サラウンドビュー映像撮影装置１２０を使用して車両周囲のサラウンドビュー映像を撮影し、サラウンドビュー映像が映像中心を中心に地面から空中に向かって延伸する。次に、工程Ｓ５２０において、サラウンドビュー映像検知サーバー１１０はサラウンドビュー映像を受信し、工程Ｓ５３０において、歩行者検知モジュール１１１は歩行者検知モデルを使用してサラウンドビュー映像を検知し、サラウンドビュー映像内の歩行者映像を囲む検知枠を生成する。 図６は、本開示の一実施例におけるサラウンドビュー映像６００での歩行者検知の模式図である。図６では、サラウンドビュー映像撮影装置１２０が真下に向けて撮影するため、撮影されたサラウンドビュー映像６００の映像中心４１０はサラウンドビュー映像撮影装置１２０の真下の地面であり、周囲の景物はサラウンドビュー映像撮影装置１２０の周囲の景物である。図６に示すように、サラウンドビュー映像６００には歩行者Ｈ６、Ｈ７、Ｈ８、Ｈ９が含まれており、映像中心４１０を中心として異なる回転方向でサラウンドビュー映像６００内に存在し、それぞれが検知枠Ｆによって囲まれている。具体的には、歩行者検知モデルはサラウンドビュー映像６００内の歩行者を検知することに用いられ、歩行者検知モデルが