JP-2026077153-A - 学習データ作成装置、情報支援装置、内視鏡システム、学習データ作成方法及び情報記憶媒体

JP2026077153AJP 2026077153 AJP2026077153 AJP 2026077153AJP-2026077153-A

Abstract

【課題】機械学習の精度向上と学習データの増加とを両立させた学習データ作成装置等の提供。【解決手段】本実施形態は、機械学習のための学習データを生成する処理を行うプロセッサ１１０を含む学習データ作成装置１００に関する。プロセッサ１１０は、学習装置の複数の内視鏡画像を個々の特徴量をもとに特徴量空間にプロットし、複数の内視鏡画像に対してクラスを判定し、判定したクラス毎に集合領域を設定する。また、プロセッサ１１０は、クラス毎の集合領域の積集合領域である第１領域Ｒ１に新たに生成される学習データの数は、クラス毎の集合領域の和集合領域から第１領域を除いた領域である第２領域Ｒ２に新たに生成される学習データの数よりも多くなるように、学習データを新たに生成する。【選択図】図１

Inventors

平川克己

Assignees

オリンパス株式会社

Dates

Publication Date: 20260513
Application Date: 20241025

Claims (18)

機械学習のための学習データを生成する処理を行うプロセッサを含む学習データ作成装置であって、前記プロセッサは、学習装置の複数の内視鏡画像を個々の特徴量をもとに特徴量空間にプロットし、複数の前記内視鏡画像に対してクラスを判定し、判定した前記クラス毎に集合領域を設定し、前記クラス毎の前記集合領域の積集合領域である第１領域に新たに生成される前記学習データの数は、前記クラス毎の前記集合領域の和集合領域から前記第１領域を除いた領域である第２領域に新たに生成される前記学習データの数よりも多くなるように、前記学習データを新たに生成することを特徴とする学習データ作成装置。
請求項１の学習データ作成装置において、前記プロセッサは、前記特徴量空間上の距離であって、同一の前記クラスに属する複数の前記内視鏡画像の前記特徴量の重心から、それぞれの前記内視鏡画像の前記特徴量までの距離である第１距離に基づいて前記集合領域を設定することを特徴とする学習データ作成装置。
請求項２の学習データ作成装置において、前記プロセッサは、それぞれの前記クラス毎に第２距離をさらに設定し、前記内視鏡画像のそれぞれのインスタンスについて前記第１距離と前記第２距離を比較し、前記第１距離が前記第２距離より短い前記インスタンスの集合に対して前記集合領域を設定することを特徴とする学習データ作成装置。
請求項１の学習データ作成装置において、前記プロセッサは、凸包を形成することにより、前記クラス毎の前記集合領域を設定することを特徴とする学習データ作成装置。
請求項１の学習データ作成装置において、前記プロセッサは、複数のインスタンスに係る前記内視鏡画像の取得時間に基づいて、前記第１領域の内部に新たな前記特徴量を補間することにより、補間した前記特徴量に対応する前記学習データを生成することを特徴とする学習データ作成装置。
請求項１の学習データ作成装置において、前記プロセッサは、第１クラスの前記集合領域と、前記第１クラスよりも前記学習データが少ない第２クラスの前記集合領域が重なる前記第１領域に、前記第２クラスの前記集合領域における前記学習データを生成することを特徴とする学習データ作成装置。
請求項６の学習データ作成装置において、前記クラス毎の前記集合領域は、前記第１クラスの前記集合領域と前記第２クラスの前記集合領域を含み、前記プロセッサは、前記第１クラスの前記集合領域から第１インスタンスを任意に選択するとともに、前記第２クラスの前記集合領域から第２インスタンスを任意に選択し、前記第１クラスの前記集合領域から前記第１領域を除いた前記集合領域である第１の第２領域に選択された前記第１インスタンスが含まれ、かつ、選択された前記第２インスタンスが前記第１領域に含まれる場合、前記学習データを生成することを特徴とする学習データ作成装置。
請求項７の学習データ作成装置において、前記プロセッサは、前記特徴量空間において任意に選択された一の軸に平行で、選択した前記第２インスタンスを端部とする半直線を仮想的に設定し、設定した前記半直線が、前記第１クラスの前記集合領域の外周と１回交差するとともに前記第２クラスの前記集合領域の外周と１回交差する場合、前記第１領域の内部に前記第２インスタンスが存在すると判断して前記学習データを生成することを特徴とする学習データ作成装置。
請求項７の学習データ作成装置において、前記プロセッサは、Ｓ状結腸切除術において血管を処理する工程に関する前記クラスである前記第２クラスの前記集合領域から前記第２インスタンスを任意に選択することを特徴とする学習データ作成装置。
請求項７の学習データ作成装置において、前記プロセッサは、Ｓ状結腸切除術において直腸を切離する工程に関する前記クラスである前記第２クラスの前記集合領域から前記第２インスタンスを任意に選択することを特徴とする学習データ作成装置。
請求項７の学習データ作成装置において、前記プロセッサは、前記特徴量空間において前記第１インスタンスと前記第２インスタンスとの間に結んだ直線と、前記第１領域とが重なる線分を設定し、設定した前記線分上に位置するインスタンスに対応する前記学習データを生成することを特徴とする学習データ作成装置。
請求項１１の学習データ作成装置において、前記第１クラスに係る工程と、前記第２クラスに係る工程とは、内視鏡を用いた手技において遷移可能な工程であることを特徴とする学習データ作成装置。
請求項１２の学習データ作成装置において、前記プロセッサは、一の前記第２インスタンスを選択するとともに、複数の前記第１インスタンスを選択し、前記一の前記第２インスタンスと、それぞれの前記第１インスタンスとに基づいて複数の前記線分を設定し、設定した複数の前記線分上に前記学習データを生成することを特徴とする学習データ作成装置。
請求項１の学習データ作成装置において、前記プロセッサは、学習装置の複数の前記内視鏡画像と、生成した前記学習データに係る前記内視鏡画像とを変形することで、前記学習データをさらに生成することを特徴とする学習データ作成装置。
請求項１の学習データ作成装置により生成された前記学習データによって機械学習された学習済みモデルを記憶するメモリと、プロセッサと、を含む情報支援装置であって、前記プロセッサは、前記学習済みモデルに基づいて、前記内視鏡画像から推論した結果を出力することを特徴とする情報支援装置。
請求項１５の情報支援装置と、内視鏡と、を含むことを特徴とする内視鏡システム。
学習装置の複数の内視鏡画像を個々の特徴量をもとに特徴量空間にプロットするステップと、複数の前記内視鏡画像に対してクラスを判定するステップと、判定した前記クラス毎に集合領域を設定するステップと、前記クラス毎の前記集合領域の積集合領域である第１領域に新たに生成される学習データの数は、前記クラス毎の前記集合領域の和集合領域から前記第１領域を除いた領域である第２領域に新たに生成される前記学習データの数よりも多くなるように、前記学習データを新たに生成するステップとを、コンピュータに実行させることを特徴とする学習データ作成方法。
学習装置の複数の内視鏡画像を個々の特徴量をもとに特徴量空間にプロットするステップと、複数の前記内視鏡画像に対してクラスを判定するステップと、判定した前記クラス毎に集合領域を設定するステップと、前記クラス毎の前記集合領域の積集合領域である第１領域に新たに生成される学習データの数は、前記クラス毎の前記集合領域の和集合領域から前記第１領域を除いた領域である第２領域に新たに生成される前記学習データの数よりも多くなるように、前記学習データを新たに生成するステップとして、コンピュータに実行させるプログラムを記憶することを特徴とする非一時的な情報記憶媒体。

Description

本発明は、学習データ作成装置、情報支援装置、内視鏡システム、学習データ作成方法及び情報記憶媒体に関する。医療等の分野において、機械学習によって手術シーンの自動認識を行う手法が知られている。手術のシーン毎に所要時間が異なるため、内視鏡のイメージャによって撮像された動画像に対して一定間隔でサンプリングした静止画に基づいて学習画像データを作成すると、シーンに対する学習量が均一にならない。特許文献１には、既存の撮像画像データに対して変形することで、学習データを追加生成する手法が開示されている。特開２０２２－１１８６５４号公報学習データ作成装置及び内視鏡システムを含むシステムの構成例を説明するブロック図。腹腔鏡手術に用いられる内視鏡システムの例を説明する図。大腸に関係する動脈を模式的に説明する図。学習済みモデルの入出力データを説明する図。Ｓ状結腸切除術の工程表の例を説明する図。本実施形態の手法を適用した処置フローの例を説明するフローチャート。所定のテーブルの例を説明する図。内視鏡画像の取得タイミングについて説明する図。本実施形態の手法に係る処理例を説明するフローチャート。特徴量空間の例を説明する図。第１クラスの集合領域と第２クラスの集合領域を説明する図。第１領域と第２領域を説明する図。学習データの作成に係る処理例を説明するフローチャート。補間画像の作成に係る処理例を説明するフローチャート。（Ａ）は選択したインスタンスが第２領域に位置することを判断する手法を説明する図。（Ｂ）は選択したインスタンスが第１領域に位置することを判断する手法を説明する図。第３インスタンスに基づく補間画像の生成に係る処理例を説明するフローチャート。第３インスタンス、第４インスタンス及び第５インスタンスを説明する図。第３インスタンスに係る時刻の決定方法を説明する図。学習データ作成装置の別の構成例を説明する図。補間画像の作成に係る別の処理例を説明するフローチャート。拡張画像の生成を説明する図。本実施形態の手法の別の例を説明する図。本実施形態の手法の別の例を説明する図。以下、本開示の好適な実施形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された内容を不当に限定するものではなく、本実施形態で説明される構成の全てが必須構成要件であるとは限らない。図１は、本実施形態の内視鏡システム１と学習装置９０を含むシステムの構成例を説明するブロックである。及び当該学習データ作成装置１００を含む内視鏡システム１の構成例を説明するブロック図である。図１において、学習装置９０は、学習データ作成装置１００を含む。学習データ作成装置１００はプロセッサ１１０を含む。本実施形態の学習データ作成装置１００のプロセッサ１１０（以下、単に「プロセッサ１１０」と簡略して呼ぶ）は、下記のハードウェアにより構成される。ハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、ハードウェアは、回路基板に実装された１又は複数の回路装置や、１又は複数の回路素子で構成することができる。１又は複数の回路装置は例えばＩＣ等である。１又は複数の回路素子は例えば抵抗、キャパシタ等である。また、例えば本実施形態の学習データ作成装置１００は、図１に不図示のメモリと、当該メモリに記憶された情報に基づいて動作するプロセッサ１１０を含んで構成されてもよい。これにより、プロセッサ１１０は、クラス判定部１１２、データ生成部１１４等として機能できる。なお、図９以降で後述するように、本実施形態の手法に係る処理等の主体は、説明の便宜上、プロセッサ１１０で統一する。また、メモリに記憶された情報とは、例えばプログラムと各種のデータ等である。プロセッサ１１０は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）等を用いることができる。メモリは、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性メモリであってもよいし、ＲＯＭ（Read Only Memory）などの不揮発性メモリであってもよいし、ハードディスク装置等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサ１１０により実行されることで、各部の機能が処理として実現されることになる。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサ１１０のハードウェア回路に対して動作を指示する命令であってもよい。また、上記したプログラムは、図示は省略するが、例えばコンピュータにより読み取り可能な媒体である非一時的な情報記憶媒体に格納できる。情報記憶媒体は、例えば光ディスク、メモリカード、ハードディスク装置、或いは不揮発性メモリなどにより実現できる。学習装置９０は、学習データ作成装置１００の他、不図示のプロセッサ（以下、「学習装置プロセッサ」と便宜的に呼ぶ）とメモリとをさらに含む。学習装置９０のメモリには機械学習のプログラム及び学習データが格納されており、学習装置プロセッサは機械学習部として機能することで後述する学習済みモデル２２が生成または更新される。なお、図１では学習装置９０が学習データ作成装置１００を含むように構成しているが、学習装置９０が学習データ作成装置１００としてさらに機能してもよい。この場合、学習装置９０のメモリは、学習データ作成装置１００が行う処理に係るプログラムをさらに含み、学習装置プロセッサは、機械学習部及び学習データ生成部として機能してもよい。このように構成された学習装置９０によって生成された学習済みモデル２２は、不図示の通信インターフェースを介したデータ送受信等によって、情報支援装置１０のメモリ２０に記憶される。なお、図１に示すシステムの例は、学習段階における構成例であり、当該学習済みモデル２２に基づく推論を行う場合は、図１に示すシステムから学習装置９０を分離し、図２に示すように内視鏡システム１のみを用いて実際の内視鏡外科出術等に適用すればよい。本実施形態の内視鏡システム１は、内視鏡３と情報支援装置１０を含む。情報支援装置１０は、メモリ２０と、プロセッサ３０を含む。メモリ２０には、学習済みモデル２２が記憶されている。情報支援装置１０のプロセッサ３０（以下、単に「プロセッサ３０」と簡略して呼ぶ）は、上記した学習データ作成装置１００に含まれるプロセッサ１１０と同様のハードウェアで構成できる。情報支援装置１０は、メモリ２０とプロセッサ３０を含むことで、プロセッサ３０は推論部として機能する。つまり、メモリ２０には、プロセッサ３０を推論部として機能させるためのプログラム等が記憶されている。メモリ２０はディスク、メモリカード、ハードディスク装置、或いは不揮発性メモリなどにより実現可能な、非一時的な情報記憶媒体である。また、本実施形態の情報支援装置１０は図１に示すように、入力部４０と出力部５０をさらに含んでもよい。また、図１では一の入力部４０と一の出力部５０を図示しているが、入力部４０と出力部５０は複数種類あってもよい。本実施形態では説明の便宜上、後述する入力インターフェースとして機能するハードウェアを総じて入力部４０と呼び、出力インターフェースとして機能するハードウェアを総じて出力部５０と呼ぶ。また、図１では一の学習済みモデル２２がメモリ２０に記憶されているように図示しているが、本実施形態の情報支援装置１０は複数種類の学習済みモデルが含まれていてもよく、詳細は図６、図７で後述する。言い換えれば、本実施形態のプロセッサ３０は複数の学習済みモデルを用いた処理を同時に実行できるようにしてもよい。本実施形態では説明の便宜上、図４で後述する機械学習によって学習され、後述する図６のステップＳ１の処理に係る学習済みモデルを「学習済みモデル２２」と、符号を付けて呼ぶ。本実施形態における内視鏡３は、例えば挿入部の大部分が硬質な硬性内視鏡である。なお、硬性内視鏡は十分公知であるため構成の詳細な図示を省略しているが、内視鏡３の先端にはイメージャが含まれる構成が広く採用されている。このようにすることで、情報支援装置１０の入力部４０は、当該イメージャから不図示のケーブルを介して画像信号を受信し、プロセッサ３０が受信した画像信号に基づいて表示画像を生成する関係を構築できる。これにより、情報支援装置１０と内視鏡３と接続するとともに、情報支援装置１０を図２のＡ１に示すディスプレイと接続することで、イメージャによって撮像された表示画像を、出力部５０を介して当該ディスプレイに表示する内視鏡システム１が構築できる。これにより、図２に示すような内視鏡外科手術においてユーザは、体腔内の生体組織を観察しながら処置具で生体組織の処置が行うことができる。本実施形態におけるユーザは、例えば処置具を扱う術者、内視鏡３を操作するスコピストの他、処置に関わる者全般をいう。本実施形態において、各症例において第１時間を単位とする一定時間ごとにイメージャにより取得した静止画を「内視鏡画像」と呼ぶ。また、イメージャによって撮像された静止画の集合を便宜上「内視鏡動画」と呼ぶ。つまり本実施形態のプロセッサ３０は、内視鏡３を用いた手技において、時系列の内視鏡画像を取得している。具体的には例えば、本実施形態ではイメージャから入力部４０を介して内視鏡画像の映像信号がプロセッサ３０に入力されると、プロセッサ３０は受信した映像信号に基づいて内視鏡画像を生成し、出力部５０を介して内視鏡画像を出力する第１処理と、生成した内視鏡画像を入力データとし、学習済みモデル２２に基づいて推論を行う第２処理とを行う。つまり、具体的な図示はしていないが、学習済みモデル２２に対して内視鏡画像データを入力するためのハードウェアとしての入力インターフェースと、推論結果に基づく出力データを出力するための出力インターフェースが、情報支援装置１０に含まれている。これにより、後述するように、ユーザは内視鏡画像を観察しながら処置を円滑に行うことができる。なおここでの第２処理は、図６で後述する工程認識（ステップＳ１）に相当する。本実施形態の手法が適用できる手技として例えばＳ状結腸切除術が挙げられる。Ｓ状結腸切除術は、図３で模式的に示す大腸のうちＢ１に示すＳ状結腸に癌等の病変が生じたときにＳ状結腸を切除することで根治を目指す処置である。Ｓ状結腸切除術においては、Ｓ状結腸のみならず、Ｓ状結腸切除術に関連する動脈、静脈、神経等の組織の扱いを考慮する必要がある。関連する動脈とは、例えば動脈の場合、図３のＢ１０に示す腹部大動脈、Ｂ２０に示す下腸間膜動脈（Inferior Mesenteric Artery、以降ＩＭＡと呼ぶ）、Ｂ３１に示す左結腸動脈（Left Colic Arter、以降ＬＣＡと呼ぶ）、Ｂ３２に示すＳ状結腸動脈、Ｂ３３に示す上直腸動脈（Superior Rectal Artery、以降ＳＲＡと呼ぶ）等が挙げられる。なお図示は省略するが、関連する静脈とは下腸間膜静脈（Inferior Mesenteric Vein、以降ＩＭＶと呼ぶ）等が挙げられる。これらの組織をどのように扱うかは、症例によって適宜決定される。例えば病変が癌の場合、癌の進行度に応じてＳ状結腸とともに切除すべきリンパ節の範囲が決定され、所定のリンパ節切除、血管処理が行われる。なお、本実施形態の内視鏡３は上記した硬性内視鏡に限らず軟性内視鏡等、他の種類の内視鏡であってもよい。つまり本実施形態の手法は、内視鏡３を用いた手技に広く適用することができる。例えば