JP-2026077946-A - 作業認識システム、作業認識方法、及びプログラム

Abstract

【課題】複数のデバイスを設け、作業位置に応じて最適なデバイスを自動選択することによりデータ取得のロバスト性及び精度を確保することができる位置情報取得システムを提供する。 【解決手段】対象物に対して動作する複数のセンサまたは作業デバイスから位置情報を取得する位置情報取得部と、対象物の周辺領域を分割した分割領域に応じて位置情報を取得する前記センサまたはデバイスを切り替える切り替え部と、を備える、位置情報取得システムを提供する。 【選択図】図１６

Inventors

• 壷田 朋宏

Assignees

• トヨタ自動車株式会社

Dates

Publication Date

20260513

Application Date

20260306

Claims (5)

1. 作業者の作業認識を行う作業認識システムであって、 複数のセンサまたはデバイスから前記作業認識に用いる情報を取得する情報取得部と、 予め定めた定義に基づき、前記複数のセンサまたはデバイスの切り替え又は優先順位付けを行う制御部と、 を備える、作業認識システム。
2. 前記制御部は、 前記作業者の作業対象の位置情報に基づいて周辺領域を分割して分割領域を取得し、 前記作業者の位置情報から得られた前記分割領域上の前記作業者の位置に応じて、前記複数のセンサまたはデバイスの切り替え又は優先順位付けを行う、 請求項１に記載の作業認識システム。
3. 複数のセンサまたはデバイスは、 骨格推定に用いるセンサまたはデバイス、 触覚センサ又は聴覚センサ、又は、 前記作業者の身体部位別の位置の推定に用いるセンサまたはデバイス、 を含む、 請求項１に記載の作業認識システム。
4. 作業者の作業認識を行う作業認識方法であって、 複数のセンサまたはデバイスから前記作業認識に用いる情報を取得し、 予め定めた定義に基づき、前記複数のセンサまたはデバイスの切り替え又は優先順位付けを行う、 作業認識方法。
5. 作業者の作業認識を行う作業認識方法を実行するプログラムであって、 複数のセンサまたはデバイスから前記作業認識に用いる情報を取得し、 予め定めた定義に基づき、前記複数のセンサまたはデバイスの切り替え又は優先順位付けを行う、 ことを情報処理装置に実行させるプログラム。

Description

本開示は、作業認識システム、作業認識方法、及びプログラムに関する。 センサにより作業者の体情報と物体を認識し、作業と関連付ける作業認識方法が特許文献１に記載されている。特許文献１の作業認識システムは、センサデータを取得するセンサデータ取得部と、センサデータに基づき、作業者の体の部位を検出して作業者の体の部位に関する体部位情報を取得する体部位情報取得部を備える。また、作業認識システムは、センサデータに基づき、物体を検出して物体に関する物体情報を取得する物体情報取得部と、体部位情報と、物体情報とに基づき、物体と、物体を用いた作業を行った作業者の体の部位との関連付けを行う関連付け部を備える。さらに、作業認識システムは、関連付け部で関連付けられた関連付け結果に関する関連付け情報に基づき、作業者によって実施された作業を認識する認識結果分析部を備える。 国際公開第２０１８／０８７８４４号 実施の形態にかかる作業認識システムの構成を示すブロック図である。実施の形態にかかる単位作業認識と高度作業認識に関わる構成要素の相関ブロック図である。実施の形態にかかる単位動詞と作業動詞の関係を示す図である。実施の形態にかかる単位作業と認識モデルの関係の例を示す図である。実施の形態にかかる図４の単位作業と認識モデルの関係の例の続きの図である。実施の形態にかかる作業成分認識モデルと単位作業認識モデルの関係を示すブロック図である。実施の形態にかかる製品の生産における単位作業認識のフローチャートである。実施の形態にかかる固定基準と搬送物（対象物）基準の座標を設定する基準座標設定部を説明する図である。実施の形態にかかる製品の生産における基準座標設定のフローチャートである。実施の形態にかかる単位作業に作業位置を追加した例を示す図である。実施の形態にかかる図１１の単位作業に作業位置を追加した例の続きの図である。実施の形態にかかる単位作業認識モデルと高度作業認識のための作業成分認識モデルと高度作業認識モデルの関係を示すブロック図である。実施の形態にかかる製品の生産における高度作業認識のフローチャートである。実施の形態にかかる製品の生産における製品選択フィルタリングと進度フィルタリングを示す、概略図（上図）と、フローチャート（下図）である。実施の形態にかかる作業領域に対応するセンサのデータ取得の連携の例を示す図（上図）と、作業領域の概略図（左下図）と、作業領域とセンサの対応表（右下図）である。実施の形態にかかるダイバーシティ入力制御において作業位置に応じて複数のセンサまたはデバイスの優先順位付けや切り替える処理を示すフローチャートである。 実施の形態 以下、図面を参照して本発明の実施の形態について説明する。しかしながら、特許請求の範囲にかかる発明を以下の実施の形態に限定するものではない。また、実施の形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。 （実施の形態にかかる作業認識システムの説明） 図１は、実施の形態にかかる作業認識システムの構成を示すブロック図である。図１を参照しながら、実施の形態にかかる作業認識システムを説明する。 図１に示されるように作業認識システム１００は、外部デバイス・設備１０１と、ウェアラブルデバイス１０２と、作業認識プラットフォーム１３４と、を備える。また、作業認識システム１００の上流側の周辺システムとして、ＢＯＭ（Bill Of Materials、部品構成表）１３５と、ＰＤＭ（Product Data Management、製品情報管理）・ＢＯＰ（Bill Of Process）・ＢＯＥ（Bill Of Equipment）１３６と、ＭＥＳ（Manufacturing Execution System）１４１と、を備える。また、作業認識システム１００の下流側の周辺システムとして、ＡＰＰＬ（Application、アプリケーション（活用））１４２と、を備える。 外部デバイス・設備１０１は、本システム以外の目的も兼ねて工程に備えられた外部の要素である。外部デバイス・設備１０１は、例えば、カメラ、インドアＧＰＳ（Global Positioning System）、その他設備、治工具、搬送システム等である。 ウェアラブルデバイス１０２は、作業者が装着する各種センサである。ウェアラブルデバイス１０２は、例えば、一人称視点カメラ、マイク、振動センサ、圧力センサ、ＩＭＵ（Inertial Measurement Unit、慣性計測ユニット）、歪センサ、バイタルセンサ等である。 作業認識プラットフォーム１３４は、本開示の作業認識システムの中心となる情報処理装置（図示せず）で構成される部分である。情報処理装置は、処理を実行するためにプログラムを実行するプロセッサ（例えばＣＰＵ（Central Processing Unit））と、プログラムを格納するメモリを少なくとも備える。情報処理装置は、機能の一部または全部を分散させたクラウドサーバで構成されてもよい。作業認識プラットフォーム１３４は、入力Ｉ／Ｆ(Interface、インターフェース)１０３と、時系列同期部１０４と、作業認識用データ準備１０５と、作業認識用データ準備による学習／設定部１１４と、作業認識モデルライブラリ１１５と、作業認識モデルライブラリ動的フィルタリング１３１と、作業認識マルチモーダルＡＩ１３２と、単位作業ごと作業実績データ出力部１３３と、を備える。 入力Ｉ／Ｆ１０３は、外部デバイス・設備１０１及びウェアラブルデバイス１０２と接続するためのインターフェースである。 時系列同期部１０４は、それぞれの外部デバイス・設備１０１及びウェアラブルデバイス１０２のデータを時間的に同期する。 作業認識用データ準備１０５は、作業者、作業対象物、設備・ツール等に関係する作業成分を認識するためのモデル用のデータを準備する。作業認識用データ準備１０５は、作業者に関して、身体・手指骨格推定部１０６と、触覚・聴覚センサデータ部１０７と、身体部位別位置推定部１０８と、作業者識別部１０９等を備える。作業認識用データ準備１０５は、作業対象物に関して、位置推定部１１０と、外観画像部１１１と、を備える。作業認識用データ準備１０５は、設備・ツールに関して、設備・治工具信号・データ部１１２と、を備える。また、作業認識用データ準備は、ダイバーシティ入力制御部１１３を備える。 身体・手指骨格推定部１０６は、センサまたはデバイスからのデータを用いて身体や手指の骨格推定を行う。また、身体・手指骨格推定部１０６は、ダイバーシティ入力制御部１１３からの指示によって骨格推定に用いるセンサまたはデバイスの優先順位付け及び切り替えを行う。 触覚・聴覚センサデータ部１０７は、振動、摩擦、反力、音等の入力データをセンサまたはデバイスより取得する。身体部位別位置推定部１０８は、センサまたはデバイスからのデータを用いて身体の各部位の位置を推定する。身体部位別位置推定部１０８は、ダイバーシティ入力制御部１１３からの指示によって身体の各部位の位置推定に用いるセンサまたはデバイスの優先順位付け及び切り替えを行う。作業者識別部１０９は、作業者をＩＤ（Identification）などで識別する。 位置推定部１１０は、作業対象物の位置を推定する。外観画像部１１１は、外部デバイス・設備１０１及びウェアラブルデバイス１０２で作業対象物の外観を撮像して外観画像を取得する。 設備・治工具信号・データ部１１２は、作業中の設備、ツールのデータを取得する。ダイバーシティ入力制御部１１３は、作業位置に応じて入力するセンサまたはデバイスの優先順位付け、切り替えを行う。 作業認識用データ準備による学習／設定部１１４は、後段で説明する作業成分認識モデル１４３を構築するための学習／設定部である。作業認識用データ準備１０５で準備されたデータは、学習または設定され、作業成分認識モデル１４３の各部位を構築する。 作業認識モデルライブラリ１１５は、作業認識プラットフォーム１３４の参照部である。作業認識モデルライブラリ１１５は、作業成分認識モデル１４３と、作業成分認識モデルによる学習／設定部１２３と、汎用作業認識モジュール１２４と、エリア別基準座標制御部１２７と、位置定義部１２８と、作業位置による学習／設定部１２９と、高度作業認識モデル１３０と、を備える。 作業成分認識モデル１４３は、各認識モデルを記憶する記憶部である。作業成分認識モデル１４３は、作業者に関して姿勢・行動認識モデル１１６と、ジェスチャ・音声認識モデル１１７とを備える。作業成分認識モデル１４３は、作業対象物に関して、物体認識モデル１１８と、物理Ｆ／Ｂ（Feedback）認識モデル１１９と、状態認識・測定モデル１２０とを備える。作業成分認識モデル１４３は、設備・ツールに関して、設備・ツールデータ認識モデル１２１を備える。作業成分認識モデル１４３は、作業位置に関して、作業位置推定モデル１２２を備える。 姿勢・行動認識モデル１１６は、身体・手指骨格推定部１０６と触覚・聴覚センサデータ部１０７から学習または設定して姿勢、行動を認識するモデルである。ジェスチャ・音声認識モデル１１７は、身体・手指骨格推定部１０６と触覚・聴覚センサデータ部１０７から学習または設定してジェスチャ、音声を認識するモデルである。 物体認識モデル１１８は、身体・手指骨格推定部１０６と、触覚・聴覚センサデータ部１０７と、身体部位別位置推定部１０８と、外観画像部１１１から学習または設定して物体を認識するモデルである。物理Ｆ／Ｂ認識モデル１１９は、触覚・聴覚センサデータ部１０７から学習または設定して、物理フィードバックを認識するモデルである。状態認識・測定モデル１２０は、外観画像部１１１から学習または設定して、作業対象物の状態を認識して測定するモデルである。 設備・ツールデータ認識モデル１２１は、設備・治工具信号・データ部１１２から学習または設定して設備、ツールデータを認識するモデルである。作業位置推定モデル１２２は、身体部位別位置推定部１０８と、作業対象物の位置推定部１１０と、設備・治工具信号・データ部１１２から情報を取得して作業位置を推定するモデルである。作業位置推定モデル１２２は、工程または製品基準で設定される。また、作業位置推定モデル１２２は、エリア別基準座標制御部１２７から情報を取得する。さらに、作業位置推定モデル１２２は、作業位置による学習／設定部１２９に位置推定結果のデータを提供する。 作業成分認識モデルによる学習／設定部１２３は、後段で説明する単位作業認識モデル１２５を構築するための学習／設定部である。作業成分認識モデル１４３で準備されたデータは、学習または設定され、単位作業認識モデル１２５を構築する。 汎用作業認識モジュール１２４は、単位作業モデルに作業者の対象物に対する作業時の動作、触覚、聴覚、位置、カメラ、及び設備・ツールの情報を入力し、単位作業を認識する単位作業認識部である。すなわち、汎用作業認識モジュール１２４は、作業者が何を・どうしたという部分を認識する。汎用作業認識モジュール１２４は、単位作業認識モデル１２５と、単位作業定義部１２６とを備える。 単位作業認識モデル１２５は、多様な作業の中で製品によらず汎用的に定義できる作業を認識するためのモデルである。単位作業認識モデル１２５は、単位作業認識モデル生成部で、作業内容に基づき作業成分認識モデルのうち、製品に依存しない成分を組み合わせて生成される。例えば、製品によらない汎用な作業とは、製品固有の情報を含まない、製品を跨いで共通な部品等の作業対象物に対して締付、はめ込み、取出し等