JP-2026077834-A - 建設機械

Abstract

【課題】建設機械の周辺の撮像画像から検出対象の物体をより適切に検出する。 【解決手段】本開示の一実施形態の建設機械は、所定の画角を有する広角レンズによって、建設機械の周辺を撮像する撮像装置と、所定の画角で撮像したため光軸から離れるに従ってひずみが生じている学習用画像であり且つ人が写っている位置にばらつきが生じている複数の学習用画像とともに、当該学習用画像の各々に写っている人の画像の位置を示した位置情報を読み込んで機械学習し、入力された画像に対して人が写っているか否かを判断結果として出力するよう機能させるための学習済みモデルを記憶する記憶装置と、学習済みモデルを用いて、撮像装置によって撮像された撮像画像に人が写っているか否かを判定し、判定結果を出力する制御装置と、を備える。 【選択図】図１０

Inventors

• 小林 昂平
• 黒澤 亮太
• 泉川 岳哉

Assignees

• 住友建機株式会社

Dates

Publication Date

20260513

Application Date

20260218

Claims (1)

1. 所定の画角を有する広角レンズによって、建設機械の周辺を撮像する撮像装置と、 前記所定の画角で撮像したため光軸から離れるに従ってひずみが生じている学習用画像であり且つ人が写っている位置にばらつきが生じている複数の学習用画像とともに、当該学習用画像の各々に写っている人の画像の位置を示した位置情報を読み込んで機械学習し、入力された画像に対して人が写っているか否かを判断結果として出力するよう機能させるための学習済みモデルを記憶する記憶装置と、 前記学習済みモデルを用いて、前記撮像装置によって撮像された撮像画像に人が写っているか否かを判定し、判定結果を出力する制御装置と、 を備える建設機械。

Description

本開示は、建設機械に関する。 従来、建設機械（例えばショベル）に搭載される撮像装置の撮像画像から、建設機械の周辺の所定範囲内の所定の物体（例えば、人）を検出し、安全機能（例えば、警報の出力）を作動させる技術が知られている（例えば、特許文献１参照）。 特開２０１４－１８１５０８号公報 図１は、実施形態に係る建設機械管理システムの一例を示す図である。図２は、実施形態に係るショベルの一例を示す側面図である。図３は、実施形態に係るショベルの一例を示す上面図である。図４は、実施形態に係るショベルのハードウェア構成の一例を示す図である。図５は、実施形態に係る管理装置のハードウェア構成の一例を示す図である。図６は、実施形態に係る管理装置における、学習済みモデルを生成するための機能構成の一例を示す機能ブロック図である。図７は、実施形態に係る教師データセット生成部において生成された教師データの一例を示した図である。図８は、実施形態に係る教師データセット生成部において生成された教師データの一例を示した図である。図９は、実施形態に係る教師データセット生成部において生成された教師データの一例を示した図である。図１０は、実施形態に係るショベルの機能構成の一例を示す機能ブロック図である。図１１は、実施形態に係る物体検出部における、物体検出手法の一例を示した図である。図１２は、実施形態に係る物体検出部が撮像装置から取得した撮像画像の一例を示した図である。図１３は、実施形態に係る物体検出部が撮像装置から取得した撮像画像の一例を示した図である。図１４は、実施形態に係る物体検出部が撮像装置から取得した撮像画像の一例を示した図である。図１５は、実施形態に係る物体検出部が撮像装置から取得した撮像画像の一例を示した図である。図１６は、実施形態に係る物体検出部が撮像装置から取得した撮像画像の一例を示した図である。図１７は、実施形態に係る物体検出部が撮像装置から取得した撮像画像の一例を示した図である。図１８は、実施形態に係る建設機械管理システムにおける学習済みモデルの更新手法を示したシーケンス図である。図１９は、実施形態に係る物体検出部による監視物体（人）の検出状態の一例を示した図である。図２０は、実施形態に係る物体検出部による監視物体（人）の検出状態の一例を示した図である。図２１は、ショベルの機能構成の他の例を示す機能ブロック図である。 以下、図面を参照して実施形態について説明する。 ［建設機械管理システムの概要］ 図１～図３を参照して、建設機械管理システムＳＹＳの概要について説明する。本実施形態では、建設機械管理システムＳＹＳの管理対象となる建設機械の一例として、ショベルを用いた例について説明するが、ショベル以外の建設機械（例えばクレーン等）について適用してもよい。 図１は、建設機械管理システムＳＹＳの一例を示す図である。図２、図３は、建設機械管理システムＳＹＳに含まれるショベル１００の具体例を示す図である。具体的には、図２、図３は、本実施形態に係るショベル１００の一例を示す側面図及び上面図である。以下、ショベル１００の対応する構成要素（例えば、同じ機能を有する構成要素）には同じ符号を付して説明を行う。 図１に示すように、建設機械管理システムＳＹＳは、ショベル１００と、管理装置２００を含む。 建設機械管理システムＳＹＳに含まれるショベル１００は、一台であってもよいし、複数台であってもよい。また、建設機械管理システムＳＹＳに含まれる管理装置２００は、一つであってもよいし、複数であってもよい。即ち、複数の管理装置２００は、建設機械管理システムＳＹＳに関する処理を分散して実施してよい。例えば、複数の管理装置２００は、それぞれ、建設機械管理システムＳＹＳに含まれる全てのショベル１００のうちの担当する一部のショベル１００との間で相互に通信を行い、一部のショベル１００を対象とする処理を実行してもよい。 また、ショベル１００は、管理装置２００と共に、建設機械管理システムＳＹＳに含まれ、所定の通信回線ＮＷを通じて、管理装置２００と相互に通信を行うことが可能であってもよい。これにより、ショベル１００は、各種情報を管理装置２００に送信（アップロード）したり、管理装置２００から各種の信号（例えば、情報信号や制御信号）等を受信したりすることができる。 通信回線ＮＷには、例えば、広域ネットワーク（ＷＡＮ：Wide Area Network）が含まれる。広域ネットワークには、例えば、基地局を末端とする移動体通信網が含まれてよい。また、広域ネットワークには、例えば、ショベル１００の上空の通信衛星を利用する衛星通信網が含まれてもよい。また、広域ネットワークには、例えば、インターネット網が含まれてもよい。また、通信回線ＮＷには、例えば、管理装置２００が設置される施設等のローカルネットワーク（ＬＡＮ：Local Area Network）が含まれてもよい。ローカルネットワークは、無線回線であってもよいし、有線回線であってもよいし、その両方を含む回線であってよい。また、通信回線ＮＷには、例えば、Wi-Fi（登録商標）やBluetooth（登録商標）等の所定の無線通信方式に基づく近距離通信回線が含まれてもよい。 ＜ショベルの概要＞ 図２、図３に示すように、ショベル１００は、下部走行体１と、旋回機構２を介して旋回自在に下部走行体１に搭載される上部旋回体３と、各種作業を行うためのアタッチメントＡＴと、キャビン１０とを備える。以下、ショベル１００（上部旋回体３）の前方は、ショベル１００を上部旋回体３の旋回軸に沿って真上から平面視（上面視）で見たときに、上部旋回体３に対するアタッチメントが延び出す方向に対応する。 下部走行体１は、例えば、左右一対のクローラ１Ｃを含む。下部走行体１は、それぞれのクローラ１Ｃが左側の走行油圧モータ１ＭＬ及び右側の走行油圧モータ１ＭＲで油圧駆動されることにより、ショベル１００を走行させる。 上部旋回体３は、旋回機構２が旋回油圧モータ２Ｍで油圧駆動されることにより、下部走行体１に対して旋回する。 アタッチメントＡＴは、被駆動要素としてのブーム４、アーム５、及びバケット６を含む。 ブーム４は、上部旋回体３の前部中央に俯仰可能に取り付けられ、ブーム４の先端には、アーム５が上下回動可能に取り付けられ、アーム５の先端には、バケット６が上下回動可能に取り付けられる。 バケット６は、エンドアタッチメントの一例である。バケット６は、例えば、掘削作業等に用いられる。 また、アーム５の先端には、作業内容等に応じて、バケット６の代わりに、他のエンドアタッチメントが取り付けられてもよい。他のエンドアタッチメントは、例えば、大型バケット、法面用バケット、浚渫用バケット等の他の種類のバケットであってよい。また、他のエンドアタッチメントは、攪拌機、ブレーカ、グラップル等のバケット以外の種類のエンドアタッチメントであってもよい。また、アーム５と、エンドアタッチメントとの間には、例えば、クイックカップリングやチルトローテータ等の予備アタッチメントが介装されてもよい。 また、バケット６には、クレーン作業用のフックが取り付けられてもよい。フックは、基端が、アーム５とバケット６との間を連結するバケットピンに回動可能に連結される。これにより、フックは、掘削作業等のクレーン作業（吊り作業）以外の作業が行われる場合、２本のバケットリンクの間に形成される空間に収納される。 ブーム４、アーム５、及びバケット６は、それぞれ、油圧アクチュエータとしてのブームシリンダ７、アームシリンダ８、及びバケットシリンダ９により油圧駆動される。 なお、ショベル１００は、各種の油圧アクチュエータの一部又は全部が電動アクチュエータに置換されてもよい。つまり、ショベル１００は、ハイブリッドショベルや電動ショベルであってもよい。 キャビン１０は、オペレータが搭乗する操縦室であり、例えば、上部旋回体３の前部左側に搭載される。 なお、オペレータがショベル１００に搭乗して操作を行わず、後述の如く、ショベル１００が、専ら、遠隔操作や完全自動運転機能で動作する場合、キャビン１０は省略されてよい。 ショベル１００は、キャビン１０に搭乗するオペレータの操作に応じて、アクチュエータ（例えば、油圧アクチュエータ）を動作させ、下部走行体１、上部旋回体３、及びアタッチメントＡＴ等の被駆動要素を駆動してよい。 また、ショベル１００は、所定の外部装置（例えば、管理装置２００）から遠隔操作（リモート操作）が可能に構成されてもよい。ショベル１００が遠隔操作される場合、キャビン１０の内部は、無人状態であってもよい。以下、オペレータの操作には、キャビン１０のオペレータによる操作装置２６に対する操作、及び外部のオペレータによる遠隔操作の双方が含まれる前提で説明を進める。 また、ショベル１００は、オペレータの操作の内容に依らず、自動でアクチュエータを動作させてもよい。これにより、ショベル１００は、下部走行体１、上部旋回体３、アタッチメントＡＴ等の被駆動要素の少なくとも一部を自動で動作させる機能、即ち、いわゆる「自動運転機能」又は「マシンコントロール（Machine Control：ＭＣ）機能」を実現することができる。 自動運転機能には、オペレータの操作に応じて、操作対象の被駆動要素（アクチュエータ）以外の被駆動要素（アクチュエータ）を自動で動作させる機能、即ち、いわゆる「半自動運機能」又は「操作支援型のＭＣ機能」が含まれてよい。また、自動運転機能には、オペレータの操作がない前提で、複数の被駆動要素（油圧アクチュエータ）の少なくとも一部を自動で動作させる機能、即ち、いわゆる「完全自動運転機能」又は「完全自動型のＭＣ機能」が含まれてもよい。ショベル１００において、完全自動運転機能が有効な場合、キャビン１０の内部は無人状態であってよい。また、半自動運転機能や完全自動運転機能等には、自動運転の対象の被駆動要素（アクチュエータ）の動作内容が予め規定されるルールに従って自動的に決定される態様が含まれてよい。また、半自動運転機能や完全自動運転機能等には、ショベル１００が自律的に各種の判断を行い、その判断結果に沿って、自律的に自動運転の対象の被駆動要素（油圧アクチュエータ）の動作内容が決定される、いわゆる「自律運転機能」が含まれてもよい。 ＜管理装置の概要＞ 管理装置２００（情報処理装置の一例）が、ショベル１００に関する管理やショベル１００に関する支援を行う。 管理装置２００は、例えば、ショベル１００が作業を行う作業現場の外部の管理センタ等に設置されるオンプレミスサーバやクラウドサーバであってよい。また、管理装置２００は、例えば、ショベル１００が作業を行う作業現場内、又は作業現場から相対的に近い場所に配置されるエッジサーバであってもよい。また、管理装置２００は、ショベル１００の作業現場内の管理事務所等に配置される定置型の端末装置、又は可搬型の端末装置（携帯端末）であってもよい。定置型の端末装置には、例えば、デスクトップ型のＰＣ（Personal Computer）が含まれてよい。また、携帯型の端末装置には、例えば、スマートフォン、タブレット端末、ラップトップ型のＰＣ等が含まれてよい。 例えば、管理装置２００は、ショベル１００からアップロードされる各種情報に基づき、ショベル１００の稼働状態や運用状況の管理（監視）を実施してもよい。また、管理装置２００は、ショベル１００の遠隔操作を支援してもよい。また、ショベル１００が完全自動運転によって作業を行う場合、例えば、管理装置２００が、ショベル１００の完全自動運転による作業の遠隔監視を支援してもよい。この場合、建設機械管理システムＳＹＳに係る管理装置２００は、完全自動運転機能に対する監視者の介入によるショベル１００の操作を支援してもよい。