Search

JP-2026077754-A - マニピュレーションシステムおよびマニピュレーション方法

JP2026077754AJP 2026077754 AJP2026077754 AJP 2026077754AJP-2026077754-A

Abstract

【課題】マニピュレータを用いて試料を操作する際の操作性を向上させる。 【解決手段】マニピュレーションシステム１１０は、試料４０を操作するためのマニピュレータ１６と、マニピュレータ１６を移動させるマニピュレータ駆動機構２６と、マニピュレータ１６の先端における吸引力および排出力を可変制御するポンプ７８と、ユーザが保持する保持部材８４と、ユーザの把持動作によって保持部材８４に対して回動する回動部材８６と、回動部材８６の回動角を検出するための角度センサとを含む入力操作装置８０と、角度センサによって検出される回動部材８６の回動角を示す角度情報に基づいてポンプ７８の動作を制御する制御装置３０と、を備える。 【選択図】図１０

Inventors

  • 青山 忠義
  • 藤城 俊希
  • 坂本 和哉
  • 舟洞 佑記
  • 齋藤 澄和

Assignees

  • 国立大学法人東海国立大学機構

Dates

Publication Date
20260513
Application Date
20260212
Priority Date
20210827

Claims (6)

  1. 試料を操作するためのマニピュレータと、 前記マニピュレータを移動させるマニピュレータ駆動機構と、 前記マニピュレータの先端における吸引力および排出力を可変制御するポンプと、 ユーザが保持する保持部材と、前記ユーザの操作に応じて前記保持部材の位置が可変となるように前記保持部材を支持するリンク機構と、前記保持部材の位置を検出するための位置センサと、前記ユーザの把持動作によって前記保持部材に対して回動する回動部材と、前記回動部材の回動角を検出するための角度センサと、を含む入力操作装置と、 前記位置センサによって検出される前記保持部材の位置を示す位置情報に基づいて前記マニピュレータ駆動機構の動作を制御し、前記角度センサによって検出される前記回動部材の回動角を示す角度情報に基づいて前記ポンプの動作を制御する制御装置と、を備える、マニピュレーションシステム。
  2. 前記制御装置は、前記回動角が所定の初期値である場合、前記ポンプによる吸引および排出を停止させ、 前記制御装置は、前記ユーザの親指と人差し指との間を近づける方向の把持動作によって前記回動角が前記初期値から変化する場合、前記ポンプに吸引力を発生させ、 前記制御装置は、前記ユーザの親指と人差し指との間を遠ざける方向の把持動作によって前記回動角が前記初期値から変化する場合、前記ポンプに排出力を発生させる、 請求項１に記載のマニピュレーションシステム。
  3. 前記制御装置は、前記ユーザの親指と人差し指との間を近づける方向の把持動作によって前記回動角が変化する場合、前記ポンプの吸引力を増加させ、または前記ポンプの排出力を減少させ、 前記制御装置は、前記ユーザの親指と人差し指との間を遠ざける方向の把持動作によって前記回動角が変化する場合、前記ポンプの吸引力を減少させ、または前記ポンプの排出力を増加させる、 請求項１に記載のマニピュレーションシステム。
  4. 前記制御装置は、前記ポンプの吸引力または排出力の大ささに応じた力情報を生成し、 前記入力操作装置は、前記力情報にしたがって前記回動部材に反力を与えるアクチュエータをさらに含む、 請求項１から３のいずれか一項に記載のマニピュレーションシステム。
  5. ユーザが保持する保持部材であって、前記ユーザの操作に応じて位置が可変となるようにリンク機構によって支持される保持部材の位置を示す位置情報を取得するステップと、 前記ユーザの把持動作によって前記保持部材に対して回動する回動部材の回動角を示す角度情報を取得するステップと、 前記取得した位置情報に基づいて、試料を操作するためのマニピュレータを移動させるマニピュレータ駆動機構の動作を制御するステップと、 前記取得した角度情報に基づいて、前記マニピュレータの先端における吸引力および排出力を可変制御するポンプの動作を制御するステップと、を備えるマニピュレーション方法。
  6. ユーザが保持する保持部材であって、前記ユーザの操作に応じて位置が可変となるようにリンク機構によって支持される保持部材の位置を示す位置情報を取得する機能と、 前記ユーザの把持動作によって前記保持部材に対して回動する回動部材の回動角を示す角度情報を取得する機能と、 前記取得した位置情報に基づいて、試料を操作するためのマニピュレータを移動させるマニピュレータ駆動機構の動作を制御する機能と、 前記取得した角度情報に基づいて、前記マニピュレータの先端における吸引力および排出力を可変制御するポンプの動作を制御する機能と、をコンピュータに実現させることを特徴とするプログラム。

Description

本開示は、マニピュレーションシステムおよびマニピュレーション方法に関する。 細胞をマニピュレータを用いて操作するためのマニピュレーションシステムが知られている。細胞は微小であるため、細胞やマニピュレータの位置を顕微鏡で観察しながら細胞に対する操作がなされる。マニピュレータは、ＸＹＺの３軸で微細移動可能なテーブルに取り付けられ、ユーザは、ジョイスティック等を利用してマニピュレータを移動させる。 特開２０２０－１２２８９８号公報 第１の実施の形態に係るマニピュレーションシステムの構成を模式的に示す図である。屈折率の影響を考慮した作動距離を模式的に示す図である。試料のｚ方向の位置座標の特定方法を模式的に示す図である。ガウス分布近似した平均エッジ強度と作動距離の相関を示すグラフである。座標変換パラメータを導出するときのマニピュレータの計測パターンを模式的に示す図である。図６（ａ）～（ｊ）は、対物レンズの視野内の撮像画像および三次元表示装置の表示例を示す図である。実施の形態に係る三次元位置提示方法を示すフローチャートである。図８（ａ）～（ｃ）は、試料をマニピュレータで操作する様子を模式的に示す図である。実施の形態に係る力覚提示方法を示すフローチャートである。第２の実施の形態に係るマニピュレーションシステムの構成を模式的に示す図である。図１１（ａ）～（ｂ）は、第２力覚提示装置の構成を模式的に示す図である。試料とマニピュレータの接触判定の方法を模式的に示す図である。試料をマニピュレータで操作する様子を模式的に示す図である。試料をマニピュレータで操作する様子を模式的に示す図である。試料をマニピュレータで操作する様子を模式的に示す図である。本開示に係るマニピュレーション方法の一例を示すフローチャートである。本開示に係るマニピュレーション方法の一例を示すフローチャートである。第３の実施の形態に係るマニピュレーションシステムの構成を模式的に示す図である。第３力覚提示装置の構成を模式的に示す図である。マニピュレータで操作される試料の複数の位置における変形量を模式的に示す図である。試料の変形量をオプティカルフローを用いて算出する方法を模式的に示す図である。図２２（ａ）～（ｃ）は、マニピュレータによる試料の穿孔操作を模式的に示す図である。 （第１の実施の形態） まず、本開示の概要を説明する。本開示は、マニピュレーションシステムに関する。マニピュレーションシステムは、細胞などの試料を観察するための光学顕微鏡と、試料を操作するためのマニピュレータとを備える。ユーザは、光学顕微鏡で試料およびマニピュレータを観察しながらマニピュレータを移動させることで試料を操作する。マニピュレータは、マイクロメートル単位の微細操作を可能とするためにアクチュエータなどの駆動機構によって位置制御される。細胞を適切に操作するためには、細胞に加わる力を適切に制御する必要がある。しかしながら、ユーザは、マニピュレータによって細胞に加わる力を直接的に感じることはできない。また、マニピュレータによって細胞に加わる力は、１μＮ～１ｍＮ（０．１ｍｇｆ～０．１ｇｆ）程度と非常に僅かであり、センサ等を利用して力をリアルタイムで検出することも難しい。 本開示では、マニピュレータによって操作される試料の位置および形状の少なくとも一方の変化量をリアルタイムで特定し、特定した変化量に基づいて試料に加わる力を推定する。さらに推定した力を１００倍～１０，０００倍程度に増幅して、力覚デバイスを通じてフィードバックすることにより、試料を操作する際にマニピュレータに加わる反力をユーザが感じながら操作できるようにする。本開示によれば、細胞を手で直接操作しているかのような力覚を提示できるため、マニピュレーションシステムの操作性を高めることができる。特に、細胞操作の経験の少ない初心者の技能習熟を助けることができる。 図１は、第１の実施の形態に係るマニピュレーションシステム１０の構成を模式的に示す図である。マニピュレーションシステム１０は、倒立型の顕微鏡構成を備える。マニピュレーションシステム１０は、ステージ１２と、照明装置１４と、マニピュレータ１６と、折り返しミラー１８と、対物レンズ２０と、焦点可変レンズ２２と、撮像装置２４と、マニピュレータ駆動機構２６と、レンズ駆動機構２８と、制御装置３０と、表示装置３２と、入力装置３４と、力覚提示装置３６とを備える。 図１において、ステージ１２上での対物レンズ２０の光軸Ａを基準とする第１座標系を設定している。ステージ１２上での対物レンズ２０の光軸Ａが延びる方向をｚ方向とし、光軸Ａに直交する方向をｘ方向およびｙ方向としている。図示する例において、ステージ１２上での対物レンズ２０の光軸Ａが延びる方向は、ステージ１２の支持面１２ａに直交する方向と一致する。なお、ステージ１２上での対物レンズ２０の光軸Ａが延びる方向は、ステージ１２の支持面１２ａに直交する方向からずれていてもよい。 ステージ１２は、試料４０を水平に支持するための支持面１２ａと、試料４０からの観察光４２を通過させるための開口１２ｂとを有する。操作対象とする試料４０は特に問わないが、ヒトや動物などの細胞を操作対象とすることができる。試料４０は、例えば、樹脂やガラスなどの透明材料で構成される試料皿４６に収容され、試料皿４６がステージ１２の上に配置される。試料４０は、例えば、試料皿４６に収容される水などの液体４８内に浮遊している。 照明装置１４は、ステージ１２の上方に設けられ、ステージ１２上の試料４０を照明する。照明装置１４は、試料４０に向けて白色光などの照明光４４を投射する。照明装置１４は、透過照明を提供するよう構成される。照明装置１４は、蛍光観察などのために選択された特定波長の可視光の照明光４４を投射可能であってもよい。照明装置１４は、例えば、ステージ１２上の照度分布が均一となる照明光４４を投射する。 マニピュレータ１６は、ステージ１２上に設けられ、試料４０の操作に用いられる。図示する例において、マニピュレータ１６は、ホールディングピペット１６ａおよびインジェクションピペット１６ｂを含む。例えば、ホールディングピペット１６ａを用いて細胞を固定し、インジェクションピペット１６ｂを用いて細胞内への遺伝子導入などの細胞操作がなされる。図示する例では、二つのマニピュレータが設けられているが、マニピュレータの数は一つであってもよいし、三以上であってもよい。 折り返しミラー１８は、ステージ１２の開口１２ｂの直下に設けられる。折り返しミラー１８は、試料４０からの観察光４２を対物レンズ２０に向けて反射させるよう配置される。図示する例では、対物レンズ２０の光軸Ａが折り返しミラー１８にて折り返される構成となっているが、折り返しミラー１８を設けずにｚ方向に延びる光軸上に対物レンズ２０を配置してもよい。 対物レンズ２０は、折り返しミラー１８からの観察光４２が入射する位置に配置される。対物レンズ２０は、折り返しミラー１８から＋ｘ方向に離れた位置に配置される。対物レンズ２０は、比較的長い作動距離（ＷＤ；Working Distance）を有することが望ましい。対物レンズ２０の拡大倍率や作動距離などの仕様は特に限られないが、例えば、１０倍～５０倍の拡大倍率において２０ｍｍ～４０ｍｍの作動距離を有する超長作動タイプの対物レンズを用いることができる。 焦点可変レンズ２２は、対物レンズ２０を通過した観察光４２が入射する位置に配置される。焦点可変レンズ２２は、対物レンズ２０と撮像装置２４の間に配置され、例えば対物レンズ２０に隣接または近接して配置される。焦点可変レンズ２２は、所定の範囲内で屈折力が可変となるよう構成される。焦点可変レンズ２２は、正の屈折力のみを有する凸レンズであってもよいし、負の屈折力のみを有する凹レンズであってもよいし、正負の屈折力を切り替えできるように構成されてもよい。 焦点可変レンズ２２は、例えば、液体レンズで構成され、液体レンズを封止する可撓性の透明膜を変形させることで焦点距離が可変となるよう構成される。透明膜の形状は、透明膜に加える圧力を変化させることで制御される。例えば、電磁アクチュエータや圧電素子を用いることで焦点可変レンズ２２の焦点距離を電気的に制御できる。焦点可変レンズ２２は、例えば、対物レンズ２０と焦点可変レンズ２２の組み合わせによる実効的な作動距離を２ｍｍ程度の範囲で可変にするよう構成される。 撮像装置２４は、焦点可変レンズ２２を通過した観察光４２を撮像して撮像画像を生成する。撮像装置２４は、撮像レンズ２４ａと、撮像素子２４ｂとを有する。撮像レンズ２４ａは、観察光４２を撮像素子２４ｂに結像させる。撮像素子２４ｂは、ＣＭＯＳセンサなどの画像センサであり、高フレームレートで撮像画像を生成することが可能である。撮像装置２４のフレームレートは特に限られないが、毎秒１００フレーム以上であることが好ましく、毎秒５００フレーム以上であることがより好ましい。 対物レンズ２０、焦点可変レンズ２２および撮像装置２４は、ｘ方向に延びる光軸Ａに沿って配置され、例えばｘ方向に延びる鏡筒に対して固定される。なお、焦点可変レンズ２２と撮像装置２４の間に図示しない追加の折り返しミラーが設けられてもよく、光軸Ａがさらに折り返される構成であってもよい。 マニピュレータ駆動機構２６は、マニピュレータ１６を移動させ、マニピュレータ１６の三次元位置を可変にする。図示する例において、マニピュレータ駆動機構２６は、第１駆動機構２６ａと、第２駆動機構２６ｂとを含む。第１駆動機構２６ａは、ホールディングピペット１６ａを移動させ、ホールディングピペット１６ａの三次元位置を可変にするよう構成される。第２駆動機構２６ｂは、インジェクションピペット１６ｂを移動させ、インジェクションピペット１６ｂの三次元位置を可変にするよう構成される。ホールディングピペット１６ａおよびマニピュレータ１６のそれぞれの三次元位置は、互いに独立して制御可能である。 レンズ駆動機構２８は、焦点可変レンズ２２を駆動し、焦点可変レンズ２２の屈折力を変化させる。レンズ駆動機構２８は、焦点可変レンズ２２の屈折力を変化させることで、対物レンズ２０と焦点可変レンズ２２の組み合わせによる実効的な作動距離を変化させる。ここで、実効的な作動距離とは、対物レンズ２０の先端から観察光４２の焦点位置までの距離であり、対物レンズ２０の先端から撮像装置２４が撮像する撮像画像のピントが合う焦点面までの距離である。 制御装置３０は、マニピュレーションシステム１０の動作全般を制御する。制御装置３０は、ハードウェア的には、コンピュータのＣＰＵやメモリをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現される。制御装置３０は、例えば、汎用のパーソナルコンピュータにより構成される。 表示装置３２は、三次元表示装置３２ａと、二次元表示装置３２ｂとを含む。三次元表示装置３２ａは、試料４０およびマニピュレータ１６の三次元位置を立体的に表示する。三次元表示装置３２ａは、例えば、Looking Glassなどのホログラムディスプレイであり、３Ｄメガネなどを使用することなく立体視を可能とする表示装置である。三次元表示装置３２ａには、試料４０およびマニピュレータ１６を模したコンピュータグラフィック（ＣＧ）画像が表示される。三次元表示装置３２ａは、ヘッドマウント型の仮想現実（ＶＲ）表示装置であってもよい。 二次元表示装置３２ｂは、液晶ディスプレイなどであり、撮像装置２４が撮像する撮像画像などをリアルタイムで表示する。二次元表示装置３２ｂは、試料４０およびマニピュレータ１６の三次元位置を表示してもよく、仮想空間にマッピングされた試料４０およびマニピュレータ１６を任意の観察面に透視投影して生成されるレンダリング