Search

JP-2026075710-A - システム、エッジデバイス、及びそれらの制御方法

JP2026075710AJP 2026075710 AJP2026075710 AJP 2026075710AJP-2026075710-A

Abstract

【課題】従来の技術では、それぞれ人工知能による推論機能を備えるエッジデバイス同士を連携する場合、回答を得るまでに時間がかかっていた。 【解決手段】 デバイスＡ１０６の判定部３３２は、クライアント端末１０５またはエッジデバイスＡ１０６の操作部２０６から質問データが入力された場合、該質問データに対する推論処理を、エッジデバイスＡ１０６の推論部３３３、デバイスＢ、及び、アプリケーションサービスＡ１０３のうち、いずれで行うべきかを判定し（Ｓ７２１）、デバイスＢで推論処理を行うべきと判定した場合に、アプリケーションサービスＡ１０３を経ることなくデバイスＢに対して前記質問データを送信し、デバイスＢから受信した回答データを、前記質問データの入力元である前記クライアント端末１０５または操作部２０６を介してユーザに提示する（Ｓ７２５、Ｓ７２６）。 【選択図】図７Ｃ

Inventors

  • 北形 圭

Assignees

  • キヤノン株式会社

Dates

Publication Date
20260511
Application Date
20241023

Claims (14)

  1. 複数のエッジデバイスを含むシステムであって、 前記各エッジデバイスは、 ユーザ操作を受け付ける操作手段と、 ネットワークと接続する通信手段と、 機械学習モデルを用いて質問データに対する回答データの推論処理を行う推論手段と、を有し、 前記複数のエッジデバイスのうち少なくとも一つのエッジデバイスは、 ネットワークを介して通信可能なクライアント端末または前記操作手段から質問データが入力された場合、該質問データに対する推論処理を、前記推論手段、このエッジデバイスとは別の前記エッジデバイス、及び、このエッジデバイスに対してネットワークを介して推論機能を提供するサービスのうち、いずれで行うべきかを判定する判定手段と、 前記別のエッジデバイスで推論処理を行うべきと判定された場合に、前記サービスを経ることなく該別のエッジデバイスに対して前記質問データを送信する送信手段と、 前記別のエッジデバイスから受信した、該別のエッジデバイスにおいて推論処理された前記質問データに対する回答データを、前記質問データの入力元である前記クライアント端末または前記操作手段を介してユーザに提示する提示手段と、を有し、 前記別のエッジデバイスは、 他のエッジデバイスから質問データを受信した場合、該別のエッジデバイスが備える推論手段により該質問データに対する回答データを推論して、該回答データを前記他のエッジデバイスに応答する応答手段と、を有する、 ことを特徴とするシステム。
  2. 前記システムは、前記各エッジデバイスに関する情報を管理する管理サービスを含み、 前記少なくとも一つのエッジデバイスは、前記管理サービスから前記各エッジデバイスに関する情報を取得する取得手段を有し、 前記判定手段は、前記判定に、前記取得した前記各エッジデバイスに関する情報を用いる、ことを特徴とする請求項１に記載のシステム。
  3. 前記各エッジデバイスに関する情報には、前記各エッジデバイスが備える前記推論手段による推論処理の精度を示す情報が含まれ、 前記各エッジデバイスに関する情報に含まれる前記推論処理の精度を示す情報は、前記各エッジデバイスで定期的に実行される該エッジデバイスが備える前記推論手段を用いた推論処理の結果に基づき前記管理サービスに登録され、 前記判定手段は、前記別のエッジデバイスで推論処理を行うべきと判定する場合には、前記別のエッジデバイスのうち前記推論処理の精度を示す情報がより高いエッジデバイスを、推論処理を行うべきエッジデバイスとする、ことを特徴とする請求項２に記載のシステム。
  4. 前記クライアント端末から前記各エッジデバイスに関する情報であるデバイス情報を受信した場合、前記判定手段は、前記判定に、前記受信した前記各エッジデバイスに関する情報を用いる、ことを特徴とする請求項１に記載のシステム。
  5. 前記各エッジデバイスに関する情報には、前記各エッジデバイスが備える前記推論手段による推論処理の精度を示す情報が含まれ、 前記判定手段は、前記別のエッジデバイスで推論処理を行うべきと判定する場合には、前記別のエッジデバイスのうち前記推論処理の精度を示す情報がより高いエッジデバイスを、推論処理を行うべきエッジデバイスとし、 前記各エッジデバイスに関する情報に含まれる前記推論処理の精度を示す情報は、前記各エッジデバイスで定期的に実行される該エッジデバイスが備える前記推論手段を用いた推論処理の結果に基づく、ことを特徴とする請求項４に記載のシステム。
  6. 前記各エッジデバイスには、家電製品、事務機のいずれかが含まれることを特徴とする請求項１～５のいずれか１項に記載のシステム。
  7. エッジデバイスであって、 ユーザ操作を受け付ける操作手段と、 ネットワークと接続する通信手段と、 機械学習モデルを用いて質問データに対する回答データの推論処理を行う推論手段と、 ネットワークを介して通信可能なクライアント端末または前記操作手段から質問データが入力された場合、該質問データに対する推論処理を、前記推論手段、このエッジデバイスと通信可能な別のエッジデバイス、及び、このエッジデバイスに対してネットワークを介して推論機能を提供するサービスのうち、いずれで行うべきかを判定する判定手段と、 前記別のエッジデバイスで推論処理を行うべきと判定された場合に、前記サービスを経ることなく該別のエッジデバイスに対して前記質問データを送信する送信手段と、 前記別のエッジデバイスから受信した、該別のエッジデバイスにおいて推論処理された前記質問データに対する回答データを、前記質問データの入力元である前記クライアント端末または前記操作手段を介してユーザに提示する提示手段と、 を有することを特徴とするエッジデバイス。
  8. 前記エッジデバイスおよび前記別のエッジデバイスに関する情報を管理する管理サービスから前記各エッジデバイスに関する情報を取得する取得手段を有し、 前記判定手段は、前記判定に、前記取得した前記各エッジデバイスに関する情報を用いる、ことを特徴とする請求項７に記載のエッジデバイス。
  9. 前記各エッジデバイスに関する情報には、前記各エッジデバイスによる推論処理の精度を示す情報が含まれ、 前記各エッジデバイスに関する情報に含まれる前記推論処理の精度を示す情報は、前記各エッジデバイスで定期的に実行される該エッジデバイスが備える前記推論手段を用いた推論処理の結果に基づき前記管理サービスに登録され、 前記判定手段は、前記別のエッジデバイスで推論処理を行うべきと判定する場合には、前記別のエッジデバイスのうち前記推論処理の精度を示す情報がより高いエッジデバイスを、推論処理を行うべきエッジデバイスとする、ことを特徴とする請求項８に記載のエッジデバイス。
  10. 前記クライアント端末から前記各エッジデバイスに関する情報であるデバイス情報を受信した場合、前記判定手段は、前記判定に、前記受信した前記各エッジデバイスに関する情報を用いる、ことを特徴とする請求項７に記載のエッジデバイス。
  11. 前記各エッジデバイスに関する情報には、前記各エッジデバイスによる推論処理の精度を示す情報が含まれ、 前記判定手段は、前記別のエッジデバイスで推論処理を行うべきと判定する場合には、前記別のエッジデバイスのうち前記推論処理の精度を示す情報がより高いエッジデバイスを、推論処理を行うべきエッジデバイスとし、 前記各エッジデバイスに関する情報に含まれる前記推論処理の精度を示す情報は、前記各エッジデバイスで定期的に実行される該エッジデバイスによる推論処理の結果に基づく、ことを特徴とする請求項１０に記載のエッジデバイス。
  12. 前記エッジデバイスは、家電製品、事務機のいずれかであることを特徴とする請求項６～１１のいずれか１項に記載のエッジデバイス。
  13. ユーザ操作を受け付ける操作手段と、ネットワークと接続する通信手段と、機械学習モデルを用いて質問データに対する回答データの推論処理を行う推論手段を有する複数のエッジデバイスを含むシステムの制御方法であって、 前記複数のエッジデバイスのうち少なくとも一つのエッジデバイスにより実行される、 ネットワークを介して通信可能なクライアント端末または前記操作手段から質問データが入力された場合、該質問データに対する推論処理を、前記推論手段、このエッジデバイスとは別の前記エッジデバイス、及び、このエッジデバイスに対してネットワークを介して推論機能を提供するサービスのうち、いずれで行うべきかを判定する判定工程と、 前記別のエッジデバイスで推論処理を行うべきと判定された場合に、前記サービスを経ることなく該別のエッジデバイスに対して前記質問データを送信する送信工程と、 前記別のエッジデバイスから受信した、該別のエッジデバイスにおいて推論処理された前記質問データに対する回答データを、前記質問データの入力元である前記クライアント端末または前記操作手段を介してユーザに提示する提示工程と、 前記別のエッジデバイスにより実行される、 他のエッジデバイスから質問データを受信した場合、該別のエッジデバイスが備える推論手段により該質問データに対する回答データを推論して、該回答データを前記他のエッジデバイスに応答する応答工程と、 を有することを特徴とするシステムの制御方法。
  14. ユーザ操作を受け付ける操作手段と、ネットワークと接続する通信手段と、機械学習モデルを用いて質問データに対する回答データの推論処理を行う推論手段を有するエッジデバイスの制御方法であって、 ネットワークを介して通信可能なクライアント端末または前記操作手段から質問データが入力された場合、該質問データに対する推論処理を、前記推論手段、このエッジデバイスと通信可能な別のエッジデバイス、及び、このエッジデバイスに対してネットワークを介して推論機能を提供するサービスのうち、いずれで行うべきかを判定する判定工程と、 前記別のエッジデバイスで推論処理を行うべきと判定された場合に、前記サービスを経ることなく該別のエッジデバイスに対して前記質問データを送信する送信工程と、 前記別のエッジデバイスから受信した、該別のエッジデバイスにおいて推論処理された前記質問データに対する回答データを、前記質問データの入力元である前記クライアント端末または前記操作手段を介してユーザに提示する提示工程と、 を有することを特徴とするエッジデバイスの制御方法。

Description

本発明は、システム、エッジデバイス、及びそれらの制御方法に関する。 近年、デバイスへの人工知能（ＡＩ：Artificial Intelligence）技術の導入は、デバイスの価値と競争力を高める重要な手段になっている。ＡＩが支援する範囲は、日に日に多種多様になり、デバイスを使った作業の自動化、効率化や品質の向上に寄与している。 従来、ＡＩによる推論処理の実行には、相応のコンピューティングリソースを必要としていたため、ネットワークを介したクラウドサービス等のリモート環境での実行に限られることが多かった。 しかし、機械学習モデルの軽量化等のチューニング技術の進化に加え、情報機器の性能向上により、エッジデバイス単体でのＡＩによる推論処理の実行が現実的になってきている。さらに、従来のリモート環境での実行と、エッジデバイス上でのローカル実行とを組み合わせることで、応答性を求める場合はエッジデバイス上で、より精度と汎用性を求める場合にはリモート環境でＡＩによる推論処理を実行するデバイスも現実的になってきている。 特許文献１には、従来のリモート環境での実行と、エッジデバイス上でのローカル実行を同時並行で行い、それらの推論のアンサンブル結果を求めることにより、それぞれの推論を調和させた結果を出す技術が提案されている。 特開２０２３―５０７６１８号公報 本実施形態に係るデバイス推論システムの全体構成の一例を示す図。デバイスの一般的なハードウェア構成の一例を示すブロック図。端末の一般的なハードウェア構成の一例を示すブロック図。デバイス管理サービス、アプリケーションサービスの一般的なハードウェア構成の一例を示すブロック図。本実施形態に係る各構成要素のソフトウェア構成の一例を示すブロック図。本実施形態に係る各構成要素のソフトウェア構成の一例を示すブロック図。本実施形態に係るデバイス登録処理において端末の表示部に表示される一連の画面を示す図。デバイスをアプリケーションサービスへ登録するシーケンスを示す図。デバイスをデバイス管理サービスに登録するシーケンスを示す図。端末の表示部に表示される推論要求、推論結果表示画面の一例を示す図。端末の表示部に表示される推論要求、推論結果表示画面の一例を示す図。本実施形態において推論処理を行うシーケンスの一例を示す図。本実施形態において推論処理を行うシーケンスの一例を示す図。本実施形態において推論処理を行うシーケンスの一例を示す図。本実施形態において推論処理を行うシーケンスの一例を示す図。第２実施例における推論モデルの精度値計る処理の一例を示すフローチャート。 以下、本発明を実施するための形態について図面を用いて説明する。 〔第１実施形態〕 図１は、本発明の一実施形態に係るデバイス推論システムの全体構成の一例を示す図である。 ネットワーク１００～１０１は、本システムの各構成要素を接続するネットワークである。ネットワーク１００～１０１は、例えば、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、電話回線、専用デジタル回線、ＡＴＭやフレームリレー回線、ケーブルテレビ回線、データ放送用無線回線等により実現される通信ネットワークである。ネットワーク１００～１０１は、各構成要素間でのデータ送受信が可能（通信可能）であればその種類を問わない。 本実施形態においては、デバイス管理サービス１０２と、アプリケーションサービスＡ１０３、アプリケーションサービスＢ１０４との接続において、ネットワーク１００はインターネットであるとして説明する。また、デバイスＡ１０６、デバイスＢ１０７と端末１０５との接続において、ネットワーク１０１はイントラネットであるとして説明する。 デバイスＡ１０６、デバイスＢ１０７は、ネットワーク１０１に接続する機能および機械学習モデルを利用した推論処理（人工知能（ＡＩ：Artificial Intelligence）による推論処理）を単体で実行する機能を持った装置である。 これらの装置は、家電製品や事務機などの装置であり、具体的には、家電製品であれば洗濯機や空調製品や冷蔵庫や、電子レンジやオーブンなどの調理家電などであり、事務機であれば画像形成装置などである。また、これらの装置は、スチールカメラやビデオカメラなどの撮影装置であってもよい。これらの装置は、装置本来の機能に加えて前述する機能を備えた装置である。具体的な機能としては、例えば、洗濯機では、洗濯の完了時間を推定する機能であり、空調製品では、洗濯物を乾燥させるのに部屋を最適な温度、湿度に調整する設定値を推論する機能などである。また、例えば、画像形成装置では、印刷対象の電子データとユーザ情報から、最適な出力になるような印刷設定を推論する機能などである。また、カメラなどでは、最適な撮影設定を推論する機能や、カメラで撮影されている被写体が何であるかを推論や分析を行う機能などである。なお、本実施形態においては、これらの装置が家電製品である場合を例に説明を行うが、前述したネットワーク接続機能と機械学習モデルを利用した推論処理を実行する機能（人口知能による推論機能）の２点を満たしていれば、装置の種類を限定するものではない。以下、これらの装置を、デバイスまたはエッジデバイスともいう。 また、本実施形態においてデバイスＡ１０６、デバイスＢ１０７と分けて記載しているが、これらは、装置としても異なるタイプの装置であり、異なる機能を備えた装置であるとする。これらの装置が、ネットワーク接続機能と機械学習モデルを利用した推論処理を実行する機能を、それぞれの装置で備えることを前提とする。さらに、このような装置として、デバイスＡ１０６、デバイスＢ１０７のみが図示されているが、デバイスＡ１０６、デバイスＢ１０７以外にも、このような装置が備えられていてもよい。 端末１０５は、ネットワーク１００～１０１に接続する機能を有し、デバイスＡ１０６、デバイスＢ１０７、デバイス管理サービス１０２に接続するクライアント端末である。具体的には、例えばスマートフォンのような携帯端末やタブレット端末、ＰＣ（パーソナルコンピュータ）等である。また、端末１０５は、ネットワーク接続機能と、音声認識・音声操作が可能なＡＩアシスタントを搭載しているスピーカーであるスマートスピーカー等であってもよい。なお、本実施形態においては、端末１０５をスマートフォンとして説明を行うが、前述したネットワーク接続機能とユーザインターフェースの機能を備えていれば、装置の種類を限定するものではない。 デバイス管理サービス１０２は、デバイスＡ１０６、デバイスＢ１０７等のデバイスの情報を管理するサービスである。ユーザ操作により端末１０５が、デバイス管理サービス１０２に、デバイスＡ１０６、デバイスＢ１０７の情報や端末１０５の情報を登録する。それによってユーザが、デバイスの推論処理の実行を指示することが可能となる。また、アプリケーションサービスＡ１０３、アプリケーションサービスＢ１０４は、その登録情報を参照することで、対象の機器に対しての機能の提供可否を判断する。 アプリケーションサービスＡ１０３とアプリケーションサービスＢ１０４は、ネットワーク１００に接続する機能、および、機械学習モデルを利用した推論処理を単体で実行する機能を持ったサービスである。これらのサービスは、デバイスに合わせて存在するため、デバイスＡに対応したサービスをアプリケーションサービスＡ、デバイスＢに対応したサービスをアプリケーションサービスＢと分けて記載する。具体的には、例えば、調理家電製品、空調家電製品と種別の異なるデバイスが複数存在していた場合は、それぞれ調理家電製品に対応するアプリケーションサービスＡと、空調家電製品に対応するアプリケーションサービスＢとが存在し、それぞれの機能サービスをデバイスＡ１０６、デバイスＢ１０７に提供する。また、アプリケーションサービスは、デバイス管理サービス１０２においてデバイスと関連付けられた端末１０５に対しても、機能サービスを提供する。 図１において、本実施形態での説明を簡潔にするため各構成要素をそれぞれ１台構成として図示している。しかし、構成上各要素の台数を制限、限定する意図はない。各構成要素はそれぞれ１台以上の複数の要素によって構成されていたとしても構わない。 図２Ａは、本実施形態に係るデバイスＡ１０６、デバイスＢ１０７の一般的なハードウェア構成の一例を示すブロック図である。 ＣＰＵ２００は、ＲＯＭ２０１に格納されているブートプログラムによりＯＳ（Operating System）を起動する。また、ＣＰＵ２００は、そのＯＳ上で外部記憶装置２０３に格納されているアプリケーションプログラムを実行することで、各種処理を実行する。 ＲＡＭ２０２は、ＣＰＵ２００の作業領域として用いられる。 外部記憶装置２０３は、後述する図３Ａに示すデバイスアプリケーション３３０、デバイス制御３４０アプリケーションなどの各プログラム、推論実行部２１１や学習部２１２が使用する機械学習モデル、デバイスの設定や履歴情報などの各種データを格納する。外部記憶装置２０３としては、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）が当てはまる。 ネットワーク部２０４は、ネットワーク１００に接続し、本実施形態におけるデバイス推論システムを構成する各要素と通信を行う。 ＣＰＵ２００には、システムバス２１０を介して、ＲＯＭ２０１、ＲＡＭ２０２および外部記憶装置２０３と共に、ネットワーク部２０４、操作Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）２０５、表示Ｉ／Ｆ２０７、機器制御部２０９、推論実行部２１１、学習部２１２が接続される。 操作Ｉ／Ｆ２０５は、デバイスと操作部２０６を接続するインターフェースである。 操作部２０６は、キーボードやハードウェアキー、マイクなどで受け付けたユーザ入力データを、操作Ｉ／Ｆ２０５を介してＣＰＵ２００に送出する。 表示Ｉ／Ｆ２０７は、デバイスと表示部２０８を接続するインターフェースである。 表示部２０８は、ディスプレイやスピーカーなどで、ＣＰＵ２００から送出されたデータを、表示Ｉ／Ｆ２０７を介して出力する。また、タッチパネルのように操作部２０６と表示部２０８の両方の機能を兼ね備えたものも存在し、その場合にはＩ／Ｆ２０５、２０７の両方に接続される。 機器制御部２０９は、ＣＰＵ２００が実行するアプリケーションプログラムにより行われる各処理のために、デバイスの動作制御を行う。デバイスＡ１０６がオーブンレンジと仮定すると、例えばユーザが加熱機能を選択した場合、ＣＰＵ２００は加熱機能を実行するために必要な構成部位、具体的にはヒーター、ファン、センサー等に対して、機器制御部２０９を介して、制御指示を送信する。 推論実行部２１１は、ＣＰＵ２００が実行するアプリケーションプログラムにおける推論処理を実行する。推論実行部２１１は、ＮＰＵ（Neural Processing Unit）やＧＰＵ（Graphics Processing Unit）のように機械学習モデルを使用した推論処理に適した装置である。機械学習モデルの規模によっては、推論実行部２１１ではなくＣＰＵ２００によって推論処理が実行される場合もある。 学習部２１２は、推論実行部２１１で実行された推論処理の結果を取得し、外部記憶装置２０３に格納された機械学習モデルの再学習処理を実行する。 なお、本実施形態においては推論処理および機械学習モデルの再学習処理の詳細については言及しない。 図２Ｂは、本実施形態に係る端末１０５の一般的なハードウェア構成の一例を示すブロック図である。基本的な構成要素は、前述したデバイスＡ１０６、デバイスＢ１０７と同様のため重複する構成要素については説明を省略する。なお、端末１０５の外部記憶