Search

JP-2026076837-A - 移動体制御システム及び移動体制御方法

JP2026076837AJP 2026076837 AJP2026076837 AJP 2026076837AJP-2026076837-A

Abstract

【課題】撮像画像に基づいて正確な３次元地図を作成するようにした移動体制御システム等を提供する。 【解決手段】移動体制御システム１００は、複数の軌道候補のうち、所定の軌道候補に沿ってロボット２０が移動した場合に撮像画像上で３次元特徴が写る位置を示す予測２次元特徴をカメラパラメータに基づいて算出する２次元特徴予測部１１７と、予測２次元特徴を特徴点マッチングに用いる場合の信頼度である予測２次元特徴信頼度をカメラパラメータに基づいて算出する予測信頼度算出部１１８と、予測２次元特徴信頼度に基づいて、それぞれの軌道候補の評価値を算出する軌道評価部１１９と、を備える。 【選択図】図４

Inventors

  • 青木 伸晃
  • 藤 大樹
  • 坂井 亮

Assignees

  • 日立ＧＥベルノバニュークリアエナジー株式会社

Dates

Publication Date
20260512
Application Date
20241024

Claims (12)

  1. 移動体のカメラの撮像画像を取得する画像取得部と、 前記撮像画像から２次元特徴を抽出する２次元特徴抽出部と、を備えるとともに、 前記２次元特徴と、前記カメラの特性を示す所定のカメラパラメータと、に基づいて、前記２次元特徴に対応する実空間上の点の位置を示す３次元特徴を抽出する３次元特徴抽出部と、 前記３次元特徴を登録することで３次元地図を生成又は更新する地図更新部と、 前記移動体が移動する際の複数の軌道候補を生成する軌道生成部と、 複数の前記軌道候補のうち、所定の軌道候補に沿って前記移動体が移動した場合に撮像画像上で前記３次元特徴が写る位置を示す予測２次元特徴を前記カメラパラメータに基づいて算出する２次元特徴予測部と、 前記予測２次元特徴を特徴点マッチングに用いる場合の信頼度である予測２次元特徴信頼度を前記カメラパラメータに基づいて算出する予測信頼度算出部と、 前記予測２次元特徴信頼度に基づいて、それぞれの前記軌道候補の評価値を算出する軌道評価部と、 前記評価値に基づいて、前記移動体の軌道を決定する軌道決定部と、 前記軌道に沿って前記移動体を移動させるように当該移動体を制御する制御部と、を備える、移動体制御システム。
  2. 前記予測信頼度算出部は、前記カメラの撮像画像に対してレンズ歪みの補正を行った場合の当該撮像画像上での前記予測２次元特徴の位置の変化量に基づいて、前記予測２次元特徴信頼度を算出すること を特徴とする請求項１に記載の移動体制御システム。
  3. 前記予測信頼度算出部は、前記カメラの撮像画像における前記予測２次元特徴の位置での空間分解能に基づいて、前記予測２次元特徴信頼度を算出すること を特徴とする請求項１に記載の移動体制御システム。
  4. 前記軌道評価部は、前記軌道候補に含まれる１つ又は複数の経由点のそれぞれにおける前記予測２次元特徴信頼度のうち、その値が所定値以上のものの個数を前記評価値として算出すること を特徴とする請求項１に記載の移動体制御システム。
  5. 前記軌道評価部は、前記軌道候補に含まれる１つ又は複数の経由点のそれぞれにおける前記予測２次元特徴信頼度の総和に基づいて、前記評価値を算出すること を特徴とする請求項１に記載の移動体制御システム。
  6. 前記軌道評価部は、所定の前記軌道候補に含まれる１つ又は複数の経由点について、最新の撮像画像の取得時刻に近いほど大きな重み付けがなされるように前記予測２次元特徴信頼度の加重平均を算出し、当該加重平均に基づいて前記評価値を算出すること を特徴とする請求項１に記載の移動体制御システム。
  7. 前記２次元特徴抽出部によって抽出された前記２次元特徴を特徴点マッチングに用いる場合の信頼度を算出し、当該信頼度が所定値以上であるか否かを判定する信頼度判定部を備え、 前記地図更新部は、前記３次元特徴抽出部によって抽出された複数の前記３次元特徴のうち、当該３次元特徴に対応する前記２次元特徴の前記信頼度が前記所定値以上であるものを前記３次元地図に登録すること を特徴とする請求項１に記載の移動体制御システム。
  8. 前記２次元特徴予測部は、前記３次元特徴抽出部によって抽出された複数の前記３次元特徴のうち、当該３次元特徴に対応する前記２次元特徴の前記信頼度が前記所定値未満であるものを対象として、前記予測２次元特徴を算出すること を特徴とする請求項７に記載の移動体制御システム。
  9. 前記カメラの視野において撮像画像の歪みが相対的に大きい領域に写るように所定の物体が新たに置かれた場合、前記制御部は、前記カメラが前記物体に正対するように前記移動体の軌道を変更すること を特徴とする請求項１に記載の移動体制御システム。
  10. 前記３次元特徴抽出部によって抽出された前記３次元特徴が、前記３次元地図にまだ登録されていない新規３次元特徴であるか否かを判定する新規特徴判定部を備え、 前記地図更新部は、複数の前記３次元特徴のうち、前記新規３次元特徴に該当するものを前記３次元地図に登録すること を特徴とする請求項１に記載の移動体制御システム。
  11. 前記２次元特徴予測部は、複数の前記３次元特徴のうち、前記新規３次元特徴に該当するものを対象として、前記予測２次元特徴を算出すること を特徴とする請求項１０に記載の移動体制御システム。
  12. 移動体のカメラの撮像画像を取得する画像取得ステップと、 前記撮像画像から２次元特徴を抽出する２次元特徴抽出ステップと、を含むとともに、 前記２次元特徴と、前記カメラの特性を示す所定のカメラパラメータと、に基づいて、前記２次元特徴に対応する実空間上の点の位置を示す３次元特徴を抽出する３次元特徴抽出ステップと、 前記３次元特徴を登録することで３次元地図を生成又は更新する地図更新ステップと、 前記移動体が移動する際の複数の軌道候補を生成する軌道生成ステップと、 複数の前記軌道候補のうち、所定の軌道候補に沿って前記移動体が移動した場合に撮像画像上で前記３次元特徴が写る位置を示す予測２次元特徴を前記カメラパラメータに基づいて算出する２次元特徴予測ステップと、 前記予測２次元特徴を特徴点マッチングに用いる場合の信頼度である予測２次元特徴信頼度を前記カメラパラメータに基づいて算出する予測信頼度算出ステップと、 前記予測２次元特徴信頼度に基づいて、それぞれの前記軌道候補の評価値を算出する軌道評価ステップと、 前記評価値に基づいて、前記移動体の軌道を決定する軌道決定ステップと、 前記軌道に沿って前記移動体を移動させるように当該移動体を制御する制御ステップと、を含む、移動体制御方法。

Description

本開示は、移動体制御システム及び移動体制御方法に関する。 移動体の制御に関して、例えば、特許文献１に記載の技術が知られている。すなわち、特許文献１には、「前記移動体の三次元座標、前記距離情報及び前記撮像装置のカメラパラメータを用いて、前記特徴点の三次元座標を含む前記地図を生成する」ことが記載されている。 特開２０１７－１３４６１７号公報 第１実施形態に係る移動体制御システムの制御対象であるロボットを含む説明図である。第１実施形態に係る移動体制御システムにおけるロボットの軌道候補に関する説明図である。第１実施形態に係る移動体制御システムの制御装置のハードウェア構成を示す図である。第１実施形態に係る移動体制御システムの制御装置の機能ブロック図である。第１実施形態に係る移動体制御システムにおける予測２次元特徴に関する説明図である。第１実施形態に係る移動体制御システムにおいて、所定の軌道候補に沿ってロボットが移動したと仮定した場合の予測２次元特徴に関する説明図である。第１実施形態に係る移動体制御システムの制御装置が実行する処理を示すフローチャートである。第２実施形態に係る移動体制御システムの制御装置の機能ブロック図である。第３実施形態に係る移動体制御システムの制御装置の機能ブロック図である。第４実施形態に係る移動体制御システムの制御装置の機能ブロック図である。変形例に係る移動体制御システムの制御装置の機能ブロック図である。 ≪第１実施形態≫ 以下では、まず、制御装置１０（図１参照）の制御対象であるロボット２０（移動体：図１参照）について簡単に説明した後、制御装置１０について詳細に説明する。 図１は、第１実施形態に係る移動体制御システム１００の制御対象であるロボット２０を含む説明図である。 図１に示す移動体制御システム１００は、ロボット２０（移動体）を制御するためのシステムであり、制御装置１０を含んで構成されている。ロボット２０は、制御装置１０からの指令に基づいて自律的に移動する移動体である。なお、ロボット２０が完全に自律的である必要は特になく、遠隔操作で適宜に制御されるようにしてもよい。図１の例では、ロボット２０は、筐体２１と、車輪２２と、カメラ２３と、を備えている。 筐体２１は、ロボット２０の外郭を構成している箱体である。車輪２２は、ロボット２０の移動手段であり、モータ（図示せず）の駆動で所定に回転するようになっている。なお、図１に示すロボット２０の構成は一例であり、これに限定されるものではない。例えば、歩行脚やクローラ（履帯）といった他の移動手段を備えるロボットが用いられてもよい。また、多関節の蛇型ロボットやドローン等の無人飛行体がロボットとして用いられてもよい。 図１に示すカメラ２３は、ロボット２０の周囲を撮像するものであり、図示はしないが、レンズと、撮像素子と、を備えている。レンズは、光を屈折させて撮像素子に集束させる光学素子である。撮像素子は、レンズを介して入射する光を光電変換して撮像画像を生成する。カメラ２３では、所定の制御周期（例えば、１秒間に数回や十回や数十回の周期）で撮像が繰り返される。カメラ２３の撮像画像は、制御装置１０に逐次に送信される。 図１の例では、ロボット２０において、筐体２１の前側に１台のカメラ２３が設置されている。このようなカメラ２３として、例えば、魚眼カメラやモノキュラステレオカメラといった広角カメラが用いられてもよく、また、透視投影カメラが用いられてもよい。レンズの数に着目すると、カメラ２３として単眼カメラが用いられてもよいが、２つのレンズを備えるステレオカメラが適宜に用いられてもよい。その他、１台のロボット２０に複数台のカメラが搭載されるようにしてもよい。なお、ロボット２０が移動する際の向き（進行方向）と、カメラ２３の向き（光軸）と、が一致している必要は特になく、ロボット２０における所定の位置にカメラ２３が設置されていればよい。 図１に示す制御装置１０は、ロボット２０を制御する装置であり、ロボット２０との間で有線（ケーブル等）又は無線で通信を行うようになっている。なお、制御装置１０は、１台のコンピュータで構成されていてもよく、また、信号線やネットワークを介して複数台のコンピュータが所定に接続された構成であってもよい。制御装置１０は、カメラ２３の撮像画像に基づいて、ロボット２０が移動する際の軌道を決定し、その軌道に沿ってロボット２０を移動させるように所定の制御指令値を生成する。制御装置１０で生成された制御指令値は、ロボット２０に逐次に送信される。 第１実施形態等では、ロボット２０のカメラ２３の撮像画像に基づいて、制御装置１０が所定の３次元地図を作成するようにしている。このような移動体制御システム１００は、例えば、ロボット２０を用いて原子力発電所の廃炉作業で被害状況を調査したり、燃料デブリを取り出したりする際に適宜に用いられる。 なお、ロボット２０の用途は、前記した例に限定されるものではない。例えば、ロボット２０を用いてプラントの保守点検を行う場合や、ＧＰＳ（Global Positioning System）の利用が困難な環境（電波の受信が困難な屋内や惑星探査等）でロボット２０が自律的に移動するといった場合にも移動体制御システム１００を適用可能である。要するに、ロボット２０にとって未知の環境の３次元地図を作成する場合や、ＧＰＳの利用が困難な環境下でロボット２０を自律的に移動させる場合等に移動体制御システム１００が用いられる。 図２は、ロボット２０の軌道候補に関する説明図である。 なお、図２では、ロボット２０の周囲に存在する物体Ｂ１を簡略化して図示している。図２の時刻ｔは、ロボット２０が最新の撮像画像を取得したときの現在時刻である。また、時刻ｔ＋１や時刻ｔ＋２は、所定の制御周期に基づく未来の時刻（例えば、時刻ｔの０．１秒後や０．０１秒後の時刻）を示している。時刻ｔ、時刻ｔ＋１、及び時刻ｔ＋２の各矢印の位置・向きは、その時刻でのロボット２０の位置・姿勢（向き）を表している。 制御装置１０（図１参照）は、現在の時刻ｔにおけるロボット２０の位置及び姿勢（向き）に基づいて、時刻ｔ＋１以後におけるロボット２０の軌道候補を生成する。ここで、「軌道候補」とは、ロボット２０が移動する際の軌道の候補のことを意味している。図２の例では、現在の時刻ｔにおけるロボット２０の位置及び姿勢（向き）を基準として、７通りの軌道候補Ｒ１～Ｒ７が生成されている。これらの軌道候補Ｒ１～Ｒ７には、それぞれ、時刻ｔ＋１や時刻ｔ＋２での経由点が含まれている。 制御装置１０（図１参照）は、複数の軌道候補Ｒ１～Ｒ７のそれぞれについて所定の評価値を算出し、この評価値に基づいて、ロボット２０が移動する際の実際の軌道を決定する。ロボット２０の移動中、このような処理が逐次に繰り返される。 図３は、制御装置１０のハードウェア構成を示す図である。 図３に示すように、制御装置１０は、そのハードウェア構成として、プロセッサ１０ａと、ＲＡＭ１０ｂ（Random Access Memory）と、ＲＯＭ１０ｃ（Read Only Memory）と、ＨＤＤ１０ｄ（Hard Disk Drive）と、通信インタフェース１０ｅと、を備え、これらが内部バス１０ｆを介して所定に接続された構成になっている。 プロセッサ１０ａは、所定のプログラムを実行するハードウェアである。このようなプロセッサ１０ａとして、例えば、ＣＰＵ（Central Processing Unit）が用いられる。ＲＡＭ１０ｂは、所定のデータを一時的に記憶するための揮発性メモリである。ＲＯＭ１０ｃやＨＤＤ１０ｄは、所定のデータが格納される不揮発性メモリである。そして、ＲＯＭ１０ｃやＨＤＤ１０ｄに記憶された所定のプログラムをプロセッサ１０ａが読み出してＲＡＭ１０ｂに展開することで、所定の処理を実行するようになっている。通信インタフェース１０ｅは、制御装置１０がロボット２０との間で所定のデータをやり取りするためのインタフェースである。なお、図３に示すハードウェア構成は一例であり、これに限定されるものではない。 図４は、制御装置１０の機能ブロック図である。 図４に示す制御装置１０は、その機能的な構成として、画像取得部１１１と、２次元特徴抽出部１１２と、２次元特徴記憶部１１３と、３次元特徴抽出部１１４と、地図更新部１１５と、を備えている。また、制御装置１０は、前記した各構成の他に、軌道生成部１１６と、２次元特徴予測部１１７と、予測信頼度算出部１１８と、軌道評価部１１９と、軌道決定部１２０と、制御部１２１と、を備えている。 画像取得部１１１は、カメラ２３（図１参照）の撮像画像をロボット２０から逐次に取得する。２次元特徴抽出部１１２は、カメラ２３の撮像画像から２次元特徴を抽出する。ここで、「２次元特徴」とは、撮像画像において他とは区別できるような固有の点（特徴点）のことを意味している。このような２次元特徴は、撮像画像上の特徴点の位置（２次元のピクセル座標で表される位置）と、その位置における所定の特徴量記述子と、の組合せで表される。 前記した「特徴量記述子」とは、特徴点の周囲に存在する複数のピクセルの輝度値等に基づいて、所定の特徴量を記述したものである。このような特徴量記述子を含む２次元特徴の抽出には、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）やＢＲＩＥＦ（Binary Robust Independent Elementary Features）といったものが用いられる。その他にも、深層学習を利用したＤＩＳＫ（Discrete Keypoints）やＳｕｐｅｒＰｏｉｎｔといったものが２次元特徴の抽出に適宜に用いられるようにしてもよい。 図４に示す２次元特徴記憶部１１３には、前記した２次元特徴と、２次元特徴の抽出に用いられた撮像画像と、が対応付けられた状態で格納される。２次元特徴記憶部１１３に格納された２次元特徴は、次の３次元特徴抽出部１１４によって適宜に読み出される。 ３次元特徴抽出部１１４は、２次元特徴と、所定のカメラパラメータと、に基づいて、２次元特徴に対応する３次元特徴を抽出する。ここで、「３次元特徴」とは、２次元特徴に対応する実空間上の点の位置を示す座標値であり、例えば、カメラ２３（図１参照）の位置を基準とする３次元座標系で表される。 より詳しく説明すると、３次元特徴抽出部１１４は、まず、異なる視点（カメラ２３の位置）で撮像された２つの撮像画像間で物理的に同一の位置を対応付ける。このような対応付けの際、各撮像画像の２次元特徴が用いられる。具体的には、３次元特徴抽出部１１４は、２つの撮像画像間で２次元特徴の特徴量記述子が同一である（又は所定に対応している）場合、これらの２次元特徴のペアを相互に対応付ける。このような処理を「特徴点マッチング」という。特徴点マッチングの手法として、例えば、総当たり法が用いられてもよく、また、ＳｕｐｅｒＧｌｕｅといった深層学習の手法が適宜に用いられてもよい。 特徴点マッチングで用いられる２つの撮像画像は、異なる時刻に撮像されたものであってもよく、また、２台のカメラで同時刻に撮像されたものであってもよい。異なる時刻の撮像で得られる２つの撮像画像として、例えば、今回の撮像で得られた撮像画像と、前回の撮像で得られた撮像画像と、が用いられてもよい。また、今回の撮像で得られた撮像画像と、前回以前の撮像で得られた撮像画像のうち２次元特徴の個数が相対的に多い撮像画像と、が用いられるようにしてもよい。 そして、３次元特徴抽出部１１４は、２つの撮像画像において相互に対応する点の位置関係に基づいて、これらの点に対応する実空間上の３次元座標の値（つまり、３次元特徴量）を三角測量によって算出する。 前記した三角測量には、所定のカメラパ