Search

JP-2026076522-A - 視触覚センサ装置、視触覚センサ装置を用いた食感評価方法および食感評価プログラム

JP2026076522AJP 2026076522 AJP2026076522 AJP 2026076522AJP-2026076522-A

Abstract

【課題】食感を評価できる視触覚センサ装置を提供する。 【解決手段】視触覚センサ装置Ａ１は、厚み方向に一部あるいは全部が光透過性の視触覚受容部１と、視触覚受容部１の厚み方向の一方表面側内部に所定位置で配置される複数のマーカ（Ｍ）と、マーカ側の前記視触覚受容部１に対し、測定対象を接触させ所定動作を行う運動駆動手段３０と、運動駆動手段３０で測定対象に対し所定動作をさせている状態で、測定対象と接触していない視触覚受容部１側からマーカの位置状態を撮像する撮像部４０と、撮像部４０で撮像された画像データを解析し、測定対象の形状、サイズ、分布、かたさ、食感のうち１種以上を評価する評価部５０を備える。 【選択図】図１

Inventors

  • 石原 清香
  • 中馬 誠
  • 池上 聡
  • 東森 充
  • 柴田 曉秀
  • 清水 孝紀

Assignees

  • 三栄源エフ・エフ・アイ株式会社
  • 国立大学法人大阪大学

Dates

Publication Date
20260512
Application Date
20241024

Claims (9)

  1. 厚み方向に一部あるいは全部が光透過性の視触覚受容部と、 前記視触覚受容部の厚み方向の一方表面側内部に所定位置で配置される複数のマーカと、 前記マーカ側の前記視触覚受容部に対し、測定対象を接触させ所定動作を行う運動駆動手段と、 前記運動駆動手段で前記測定対象に対し前記所定動作をさせている状態で、前記測定対象と接触していない前記視触覚受容部側から前記マーカの位置状態を撮像する撮像部と、 前記撮像部で撮像された画像データを解析し、前記測定対象の形状、サイズ、分布、かたさ、食感のうち１種以上を評価する評価部と、を備える、 視触覚センサ装置。
  2. 前記視触覚受容部は、前記一方表面側が平坦である、請求項１に記載の視触覚センサ装置。
  3. 前記視触覚受容部は、前記一方表面側が複数の突起を有し、該突起のそれぞれに１つあるいは２つ以上の前記マーカが設けられている、 請求項１に記載の視触覚センサ装置。
  4. 前記評価部は、 取得された時系列の前記画像データから、前記マーカのそれぞれについてマーカ変位情報を求めるマーカ変位取得部と、 前記マーカ変位取得部で得られたマーカ変位情報に基づいて、前記測定対象の形状、サイズ、分布、かたさ、食感のうち１種以上を評価する第一推定部と、を備えている、 請求項１に記載の視触覚センサ装置。
  5. 前記評価部は、 前記マーカ変位取得部で得られたマーカ変位の特徴量を算出する特徴量算出部をさらに備え、 前記第一推定部が前記マーカ変位情報および／または前記マーカ変位の特徴量に基づいて、前記測定対象の形状、サイズ、分布、かたさ、食感のうち１種以上を評価する、 請求項４に記載の視触覚センサ装置。
  6. 前記評価部は、 形状、サイズ、分布、かたさ、食感のうち１種以上が知られている測定対象を用いて、視触覚センサ装置の撮像部で撮像された画像データから得られるマーカ変位情報およびマーカ変位の特徴量から選択される１種以上のデータと、該形状（表面特性）、サイズ、分布、かたさ、食感のうち１種以上のデータとを教師データとして用いて知的情報処理技術によって生成される学習モデルを記憶する記憶装置と、 前記撮像部で撮像された画像データから得られるマーカ変位情報およびマーカ変位の特徴量から選択される１種以上のデータを入力データとして、前記学習モデルを用いて前記形状、、サイズ、分布、かたさ、食感のうち１種以上を識別し、分類する第二推定部と、を備えている、 請求項１に記載の視触覚センサ装置。
  7. 請求項１に記載の視触覚センサ装置を用いた食感評価方法であって、 取得された時系列の画像データから、マーカのそれぞれについてマーカ変位情報および／またはマーカ変位の特徴量を求め、マーカ変位情報および／またはマーカ変位の特徴量に基づいて、測定対象の形状（表面特性）、サイズ、分布、かたさ、食感のうち１種以上を評価する第一評価ステップ、および／または、 形状、、サイズ、分布、かたさ、食感のうち１種以上が知られている測定対象を用いて、視触覚センサ装置の撮像部で撮像された画像データから得られるマーカ変位情報およびマーカ変位の特徴量から選択される１種以上のデータと、該形状、サイズ、分布、かたさ、食感のうち１種以上のデータとを教師データとして用いて知的情報処理技術によって生成される学習モデルに、撮像された画像データから得られるマーカ変位情報およびマーカ変位の特徴量から選択される１種以上のデータを入力し、前記形状、、サイズ、分布、かたさ、食感のうち１種以上を識別し、分類する第二評価ステップを含む、 食感評価方法。
  8. 食感評価プログラムであって、 少なくとも１つのプロセッサーにより、請求項７に記載の食感評価方法を実現するプログラム。
  9. 少なくとも１つのプロセッサーと、 前記プロセッサーで実行可能な命令を記憶するためのメモリと、を含み、 前記プロセッサーは、実行可能な命令を実行することにより請求項７に記載の食感評価方法のステップを実現する、情報処理装置。

Description

特許法第３０条第２項適用申請有り ２０２３年１２月１１日、第２４回計測自動制御学会 システムインテグレーション部門講演会（ＳＩ２０２３）予稿集第１９９４－１９９７頁に掲載 ［刊行物等］ ２０２３年１２月１５日、第２４回計測自動制御学会 システムインテグレーション部門講演会（ＳＩ２０２３）ポスター発表 本発明は、視触覚センサ装置、視触覚センサ装置を用いた食感評価方法および食感評価プログラムに関する。 特許文献１は、食品の食感を評価するための食感評価モデルを学習する機械学習システムを開示している。機械学習システムは、試料を押圧する押圧装置と、前記試料の押圧時に前記試料から受ける時系列的な圧力分布を示す複数フレームの圧力分布画像を取得し、前記複数フレームの圧力分布画像を連結して１つの入力画像を生成する画像取得部と、前記入力画像に基づいて畳み込みニューラルネットワークにより前記食感評価モデルを学習する学習部と、を備える。 特許文献２は、触覚センサ装置を開示している。触覚センサ装置は、複数の複眼撮像素子が可撓性シート上に２次元配置された複眼撮像装置と、複眼撮像装置の撮像領域を照らす照明装置と、撮像領域にマーカが形成された変形層とを備える。 特開２０１９－２０７１２３号公報（特許第７１３１７６６号）国際公開第２０２３／１００５１５号 実施形態１の視触覚センサ装置の一例を示す図である。突起のない平板状の第一部材、第二部材、マーカの一例を示す図である。突起のある第一部材、第二部材、マーカの一例を示す図である。実施例１のゲル状食品に対する押込み動作の結果の一例を示す図である。実施例２、３のゲル状食品に対する押込み動作の結果の一例を示す図である。教師データ、学習モデルを利用した推定の一例を示す。マーカ変位量に基づく量子化ヒートマップの一例を示す図である。４食感の推定結果の一例を示す図である。剛体対象物の一例を示す図である。突起なしセンサおよび突起付きセンサのマーカ変位ベクトルと押込み量ｘの一例を示す図である。マーカ変位とその平均周波数ｆ＿aveと平均振幅Ａ＿aveの一例を示す図である。突起なしセンサおよび突起付きセンサのマーカ変位ベクトルと押込み量ｘの一例を示す図である。マーカ変位とその平均周波数ｆ＿aveと平均振幅Ａ＿aveの一例を示す図である。４２パターンの半球凸部を有する剛体対象物の一例を示す図である。学習モデルの一例を示す図である。検証１、２の結果を示す図である。初期から５回往復回転までのマーカ変位ベクトルの状態を示す図である。マーカ変位の総和の経時変化を示す図である。 （実施形態１） 実施形態１の視触覚センサ装置Ａ１の構成例を図１に示す。視触覚センサ装置Ａ１は、視触覚受容部１、運動駆動手段３０、撮像部４０、評価部５０、出力部６０を備える。 実施形態１の視触覚受容部１は、厚み方向で２層の構造である。視触覚受容部１は、厚み方向に一部あるいは全部が光透過性の硬質材料の第一部材１０と、第一部材１０より軟質であって第一部材１０の上に積層される、一部あるいは全部が光透過性の軟質材料の第二部材２０とを有する。本実施形態では、第一部材１０は、透明の硬質アクリル材料で構成される。第二部材２０は、透明の軟質シリコンゴム材料で構成される。第二部材２０の硬さは、測定対象よりも柔らかいことが必要であり、ヒトの舌と同様の硬さ、弾力性を有することが好ましい。その弾性率は、例えば、１０ｋＰａ～２００ｋＰａである。第二部材１０は、厚さ５～２０ｍｍ、平面視で縦３０～５０ｍｍ×横３０～５０ｍｍの四角柱状であってもよい。第二部材２０は、厚さ５～２０ｍｍ、平面視で縦３０～５０ｍｍ×横３０～５０ｍｍの四角柱状であってもよい。第二部材２０周囲の側面を画定する周囲壁が設けられていてもよい。周囲壁は、別材料で構成され、所定動作の終了時に、第二部材２０の復元力を補助できる構成であってもよい。 複数のマーカ（Ｍ＿ｉ）は、第二部材２０の測定対象と接触する表面側に配置される。マーカ（Ｍ＿ｉ）は黒塗りのガラス球を用いてもよい。ｉは、１からｎである。ｎに比例して分解解像度も高くなる。表面から１ｍｍ以内の深さに、マーカが、１０～３０行１０～３０列の格子状に配置されてもよい。球状のマーカは、例えば、直径０．２～１．０ｍｍであってもよい。格子状の配置間隔は、例えば、１．５～２．５ｍｍであってもよい。マーカは、シリコンゴム中に埋め込まれており、シリコンゴムが変形したときの挙動に合わせて移動する。 運動駆動手段３０は、マーカ（Ｍ＿ｉ）側の第二部材２０に対し、測定対象（試料）を接触させ所定動作を行う。所定動作は、例えば、（ａ）前記マーカ（Ｍ＿ｉ）を初期位置から変位させる程度まで押し込む押込動作、（ｂ）該押し込んだ状態で回転させる押込回転動作、（ｃ）該押し込んだ状態で所定方向に並進させる押込並進動作、（ｄ）押し込みながら回転させる動作、（ｅ）押し込みながら並進させる動作、などのうち１種あるいは１種以上の動作が組合わされた動作でもよい。 運動駆動手段３０は、例えば、図１に示すように、押圧部３１、垂直アクチュエータ３２、並進アクチュエータ３３、モータ３４、駆動構造、設定部３５、動作制御部３６を備えていてもよい。押圧部３１は、測定対象Ｓを第二部材２０へ押し込む平板状に構成されている。垂直アクチュエータ３２は、押圧部３１と連結され、押圧部３１を垂直方向に移動でき、垂直方向軸を中心に回転するアクチュエータである。並進アクチュエータ３３は、押圧部３１と連結され、押圧部３１を並進させるアクチュエータである。モータ３４は、垂直アクチュエータ３２、並進アクチュエータ３３を駆動させる駆動手段である。設定部３５は、測定対象Ｓに応じて、任意に押込み速度、押込み量（ｚ）、押込み圧力（ｆ）、回転方向、回転速度、回転回数、並進方向、並進速度、並進回数を設定する手段である。設定部３５で設定した各種条件は、記憶装置５３へ送られる。なお、別実施形態として、設定部３５の機能が評価部５０に備えられており、各種条件が運動駆動手段３０の動作制御部３６へ送られる構成であってもよい。動作制御部３６は、設定部３５で設定した各種条件に応じて、モータ３４を駆動し各種アクチュエータ３２、３３を制御する。 運動駆動手段３０は、各アクチュエータの代わりに、各種センサを備えた多軸ロボットアームで構成されていてもよい。多軸ロボットアームにより、押し込み、回転、並進などの動作を制御できる。各種センサによって、押込み力ｆ、押込み量ｚを求めることができる。設定部３５で設定される設定値と同じロボットアーム動作の各種設定値、各種センサで測定された押込み力ｆ、押込み量ｚのデータは、記憶装置５３へ送られる。 撮像部４０は、動駆動手段３０で測定対象Ｓに対し所定動作をさせている状態で、測定対象Ｓと接触していない第一部材１０側からマーカ（Ｍ＿ｉ）の位置状態を時系列データとして撮像する。動画でもよく静止画でもよい。撮像部４０は、例えば、ＣＣＤカメラ、ＣＭＯＳカメラなどのカラーカメラでもよい。撮像部４０で撮像された時系列の画像データは、記憶装置５３へ送られ、画像データ記憶部５３１に保存される。 評価部５０は、撮像部４０で撮像された画像データを解析し、測定対象の形状（表面特性）、サイズ、分布、かたさ、食感のうち１種以上を評価する。また、評価部５０は、記憶装置５３を備える。記憶装置５３は、画像データ記憶部５３１、条件記憶部５３２解析データ記憶部５３３、評価データ記憶部５３４を備える。評価部５０は、設定部３５で設定した各種条件データ、例えば、押込み速度、押込み量ｚ、押込み圧力ｆ、回転方向、回転速度、回転回数、並進方向、並進速度、並進距離、並進回数のデータを受け取り、条件記憶部５３２に保存する。また、評価部５０は、ロボットアーム動作の各種設定値、各種センサで測定された押込み力ｆ、押込み量ｚのデータを受け取り、条件記憶部５３２に保存する。 （ルールベースの評価） 評価部５０は、例えば、マーカ変位取得部５１、第一推定部５１２を備える。マーカ変位取得部５１は、取得された時系列の画像データから、マーカ（Ｍ＿ｉ）のそれぞれについてマーカ変位情報を算出する。マーカ変位情報は、マーカ変位の平均値Ｍ、マーカ変位ベクトル、接触面積Ａ、マーカ変位の変化率(変位速度)であってもよい。 マーカ変位取得部５１は、撮像部４０で撮像された時系列の画像データを解析する。マーカ変位取得部５１は、マーカ（Ｍ＿ｉ）群をブロブ解析により検出する。これら処理を撮像して得られた全時系列の画像データ(「フレーム」ともいう。)に対して実行する。例えば、マーカ変位取得部５１は、画像データ記憶部５３１に保存されている時系列の画像データと、条件記憶部５３２に保存されている各種データに基づいて、押込み量ｚに応じた接触面積Ａを算出する。例えば、マーカ変位取得部５１は、検出された各マーカ（Ｍ＿ｉ）の初期位置（ｘ０,ｙ０）からの変位（ｘｍ、ｙｍ）を計算し、この変位量を定数倍した長さのベクトルを生成する。ｍは、撮像した時系列のフレームの数と同じである。定数倍した長さのベクトルをマーカ変位ベクトルと称する。例えば、図２のように、時間的に変位した各マーカ（Ｍ＿ｉ）とマーカ変位ベクトルは、出力部６０の表示装置に送られ、表示される。マーカ変位ベクトルを表示させる際に、変位量に応じて、例えば、８段階から１６段階で色付けする。例えば、マーカ変位取得部５１は、接触面内のマーカ変位の平均値Ｍを算出する。マーカ変位取得部５１で算出されたデータは、解析データ記憶部５３３に保存される。 特徴量算出部５１１は、マーカ変位取得部５１で得られたマーカ変位の特徴量を算出する。マーカ変位の特徴量は、マーカ変位の平均周波数（ｆ_ave）、平均振幅（Ａ_ave）でもよい。押込み量ｚの時間推移グラフから周波数分析をして周波数と振幅を求めてもよい。複数回の同じ所定動作を繰り返してその平均の周波数と振幅を求めてもよい。 第一推定部５１２は、マーカ変位取得部５１で得られたマーカ変位情報および／または特徴量算出部５１１で算出されたマーカ変位の特徴量に基づいて、測定対象の形状（表面特性）、サイズ、分布、かたさ、食感のうち１種以上を評価する。第一推定部５１２は、例えば、評価データベースにアクセスし、マーカ変位情報またはマーカ変位の特徴量のデータを抽出条件として照合し、形状（表面特性）、サイズ、分布、かたさ、食感のデータを出力する。評価データベースは、マーカ変位情報またはマーカ変位の特徴量に紐づいた形状（表面特性）、サイズ、分布、かたさ、食感のデータを含み、予め実験値によって設定されている。第一推定部５１２で処理されたデータは、評価データ記憶部５３４に保存される。評価データベースには、定性評価と定量評価の両方が含まれており、定性評価と定量評価の両データが出力される。 （実施例１：押込み動作） 第一部材１０：透明の硬質アクリル製、厚さ４ｍｍ、大きさ４０ｍｍ×４０ｍｍ 第二部材２０：透明の軟質シリコンゴム製、弾性率９８ｋＰａ、厚さ１０ｍｍ、大きさ４０ｍｍ×４０ｍｍ、周囲は厚さ４ｍｍのＰＬＡ樹脂部材で囲んだ。 マーカ（Ｍ＿ｉ）：直径０．６ｍｍの黒塗りのガラス球、２１行２１列の計４４２個、配置間隔は２ｍｍ 撮像条件：解像度１０８０×１０８０ｐｉｘｅｌ、フレームレート３０ｆｐｓ 運動駆動手段：６軸ロボットアーム、アーム先端にプランジャー(押圧部)取り付けた。 運動条件：速度２ｍｍ／ｓ、押込み量ｚ＝９ｍｍの垂直の押込み動作 測定対象：直径２０ｍｍ，高さ１０ｍｍの円柱形のジェランガム製のゲル状食品 図４（ａ）に、センサ表面と測定対象Ｓの接触面の輪郭を表示し，その内部のマーカ変位ベクトルのみ表示した。図４（ｂ）に、押込み量ｚ、接触面積Ａ、押込み力ｆ、マーカ変位平均Ｍの出力