Search

JP-2026077629-A - 経時的スキャンにおける被検者特異的畳み込みニューラルネットワーク（ＣＮＮ）を学習及び利用するシステム

JP2026077629AJP 2026077629 AJP2026077629 AJP 2026077629AJP-2026077629-A

Abstract

【課題】医用画像データにおける１つ又は複数の関心領域（ＲＯＩ）をセグメント化するためのシステム及び方法に関する。 【解決手段】システム及び方法は、複数の医用画像１０２を複数の畳み込みニューラルネットワーク（ＣＮＮ）１０４のそれぞれに入力するステップと、複数のＣＮＮを用いて、複数の医用画像をセグメント化するステップと、セグメント化された複数の医用画像において、１つ以上のＲＯＩに属する複数のボクセルのグループを識別するステップと、セグメント化された複数の医用画像から、複数の変数を算出するステップと、セグメント化されたＲＯＩの少なくとも１つと、複数の変数の変化と、のうちどちらかを出力するステップと、を含む。 【選択図】図１

Inventors

  • ローラ リエム
  • シュエ フェン
  • シルヴィア ブレンカー

Assignees

  • スプリングボック，インコーポレイテッド

Dates

Publication Date
20260513
Application Date
20251027
Priority Date
20241025

Claims (18)

  1. 医用画像データにおいて、１つ以上の関心領域（ＲＯＩ）をセグメント化するためのシステムであって、 異なる時点における被験者についての複数のセグメント化された医用画像の第１セットと、命令と、を記憶するよう構成されたメモリと、 プロセッサと、 ディスプレイと、 を備え、 前記プロセッサは、 前記メモリにアクセスするステップと、 前記複数のセグメント化された医用画像の前記第１セットを用いて、複数の学習済み畳み込みニューラルネットワーク（ＣＮＮ）をファインチューニングするステップと、 前記被検者についての複数の医用画像の第２セットにアクセスするステップであって、前記複数の医用画像の前記第２セットは、複数のピクセル又はボクセルを含む、ステップと、 前記複数のファインチューニング済みＣＮＮに前記複数の医用画像の前記第２セットを入力することにより、前記複数の医用画像の前記第２セットをセグメント化するステップと、 １つ以上のＲＯＩに属する前記複数のピクセル又はボクセルの１つ以上のグループを識別するステップと、 前記セグメント化された複数の医用画像から、複数の変数を算出するステップと、 セグメント化されたＲＯＩの少なくとも１つと、前記複数の変数の変化と、のうちどちらかを出力するステップと、 を実行するように構成され、 前記ディスプレイは、前記出力を表示するように構成される、システム。
  2. 前記複数の学習済みＣＮＮの各々は、ネットワーク構造、学習中の１つ以上のネットワークパラメータ、学習セット、又は運用中の１つ以上のパラメータの少なくとも１つが異なる、 請求項１に記載のシステム。
  3. 前記学習済みＣＮＮは、前記複数の医用画像の前記第２セットをセグメント化するために、スライディングウィンドウ方式を使用する、 請求項２に記載のシステム。
  4. 前記複数の変数には、複数のファインチューニング済みＣＮＮ間の、中央値、標準偏差、ラベルボリューム変動（ｌａｂｅｌ ｖｏｌｕｍｅ ｖａｒｉａｔｉｏｎ）、ラベルダイス（ｌａｂｅｌ ｄｉｃｅ）、又はラベル確率（ｌａｂｅｌ ｐｒｏｂａｂｉｌｉｔｙ）の少なくとも１つが含まれる、 請求項１に記載のシステム。
  5. 前記複数の学習済みＣＮＮのそれぞれは、セグメント化された医用画像の学習セットを用いて学習される、 請求項１に記載のシステム。
  6. 前記１つ以上のＲＯＩは、１つ以上の筋肉を含む、 請求項１に記載のシステム。
  7. 前記プロセッサは更に、前記被検者の前記１つ以上のＲＯＩに属する前記複数のピクセル又はボクセルの前記１つ以上のグループを識別する三次元（３Ｄ）モデルを生成するように構成される、 請求項１に記載のシステム。
  8. 前記複数のセグメント化された医用画像の前記第１セット及び前記複数の医用画像の前記第２のセットは、磁気共鳴（ＭＲ）画像を含む、 請求項１に記載のシステム。
  9. 前記の学習済みＣＮＮの学習は、学習反復回数又は学習率の少なくとも１つを調整することを含む、 請求項１に記載のシステム。
  10. 医用画像データにおける１つ以上の関心領域（ＲＯＩ）をセグメント化する方法であって、 プロセッサを用いて被検体の複数の医用画像にアクセスするステップであって、前記医用画像は複数のピクセル又はボクセルを含む、ステップと、 前記複数の医用画像を複数の畳み込みニューラルネットワーク（ＣＮＮ）のそれぞれに入力するステップと、 前記複数のＣＮＮを用いて、前記複数の医用画像をセグメント化するステップと、 前記セグメント化された複数の医用画像において、１つ以上の関心領域（ＲＯＩ）に属する前記複数のピクセル又はボクセルのグループを識別するステップと、 前記セグメント化された複数の医用画像から、複数の変数を算出するステップと、 セグメント化されたＲＯＩの少なくとも１つと、前記複数の変数の変化と、のうちどちらかを出力するステップと、 を備える方法。
  11. 前記複数のＣＮＮは、複数の医用画像からなる学習用データセットを用いて学習され、 複数の時間点における前記被検者についての複数のセグメント化された医用画像からなるデータセットを用いて、前記複数のＣＮＮはファインチューニングされる、 請求項１０に記載の方法。
  12. 前記複数のＣＮＮを学習することは、更に、学習反復回数又は学習率の少なくとも一方を調整することを含む、 請求項１１に記載の方法。
  13. 前記複数のＣＮＮの各々は、少なくともネットワーク構造、学習中の１つ以上のネットワークパラメータ、学習セット、又は運用時の１つ以上のパラメータのいずれかにおいて異なる、 請求項１０に記載の方法。
  14. 前記学習済みのＣＮＮは、スライディングウィンドウ方式を用いて前記複数の医用画像をセグメント化する、 請求項１２に記載の方法。
  15. 前記複数の変数には、前記複数のＣＮＮ間における、中央値、標準偏差、ラベルボリューム変動、ラベルダイス、又はラベルの確率の少なくとも一つが含まれる、 請求項１０に記載の方法。
  16. 前記１つ以上のＲＯＩは、１つ以上の筋肉を含む、 請求項１０に記載の方法。
  17. 更に、前記被検者の１つ以上のＲＯＩに属する前記複数のボクセルのグループを特定する三次元（３Ｄ）モデルを生成することを含む、 請求項１０に記載の方法。
  18. 前記複数の医用画像は、磁気共鳴（ＭＲ）画像を含む、 請求項１０に記載の方法。

Description

関連出願の相互参照 無し。 政府支援に関する声明 本発明は、米国国立衛生研究所（ＮＩＨ）によって付与されたＲ４４ＡＲ０７８７２０の政府支援を受けてなされたものである。政府は本発明に関して一定の権利を有する。 筋骨格系の画像解析は多くの場合手作業で行われており、時間を要する。更に、手作業による解析は、解析を行う人物、使用される処理・可視化ツール、撮像プロトコルによって結果が主観的に変動する。自動筋肉セグメンテーションのために、アトラスベース法や形状ベース法など、幾つかの手法が開発されてきた。最近では、深層畳み込みニューラルネットワーク（ＤＣＮＮ）が、ＭＲＩやコンピュータ断層撮影（ＣＴ）画像を用いた多くの医用画像セグメンテーションタスクに応用されている。 しかし、これらの畳み込みニューラルネットワーク（ＣＮＮ）の性能は、セグメント化される筋肉や関心領域によってばらつきが生じる。更に、これらのＣＮＮは経時的（ｌｏｎｇｉｔｕｄｉｎａｌ）研究に適用した場合に性能が低下する。例えば、こうした最適とはいえないＣＮＮは、同一被検者における筋肉の経時変化を解析する際に誤りを生じる可能性がある。 従って、経時的研究や疾患進行研究におけるＣＮＮ出力の被検者特異的セグメント化精度を改善する必要がある。 本開示は、厳選された患者特異的データを用いてマルチモデルシステムをファインチューニングすることにより、前述の欠点を克服し、当該患者に対する経時的なラベリング精度を向上させるシステム及び方法を提供する。 本開示の一実施形態において、医用画像データにおいて、１つ以上の関心領域（ＲＯＩ）をセグメント化するためのシステムが提示される。前記システムは、異なる時点における被験者についての複数のセグメント化された医用画像の第１セットと、命令と、を記憶するよう構成されたメモリを含む。前記システムは更に、プロセッサを含み、前記プロセッサは、前記メモリにアクセスするステップと、複数のセグメント化された医用画像の第１セットを用いて、複数の学習済み畳み込みニューラルネットワーク（ＣＮＮ）をファインチューニングするステップと、前記被検者についての複数の医用画像の第２セットにアクセスするステップであって、前記複数の医用画像の前記第２セットは、複数のピクセル又はボクセルを含む、ステップと、前記複数のファインチューニング済みＣＮＮに前記複数の医用画像の前記第２セットを入力することにより、前記複数の医用画像の前記第２セットをセグメント化するステップと、１つ以上のＲＯＩに属する前記複数のピクセル又はボクセルの１つ以上のグループを識別するステップと、前記セグメント化された複数の医用画像から、複数の変数を算出するステップと、セグメント化されたＲＯＩの少なくとも１つと、前記複数の変数の変化と、のうちどちらかを出力するステップと、を実行するように構成される。前記システムは更に、前記出力を表示するように構成されるディスプレイを備える。 本開示の別の実施形態において、医用画像データにおける１つ以上の関心領域（ＲＯＩ）をセグメント化する方法が提示される。前記方法は、プロセッサを用いて被検体の複数の医用画像にアクセスするステップであって、前記医用画像は複数のピクセル又はボクセルを含む、ステップと、前記複数の医用画像を複数の畳み込みニューラルネットワーク（ＣＮＮ）のそれぞれに入力するステップと、前記複数のＣＮＮを用いて、前記複数の医用画像をセグメント化するステップと、前記セグメント化された複数の医用画像において、１つ以上の関心領域（ＲＯＩ）に属する前記複数のピクセル又はボクセルのグループを識別するステップと、前記セグメント化された複数の医用画像から、複数の変数を算出するステップと、セグメント化されたＲＯＩの少なくとも１つと、前記複数の変数の変化と、のうちどちらかを出力するステップと、を備える。 これらの側面は限定的なものではない。本明細書で説明するシステム及び方法の他の側面及び特徴については、以下に示す。 本実施形態の前述の特徴は、添付図面を参照しつつ、以下の詳細な説明を参照することで、より容易に理解されるであろう。 図１は、本開示に従ったマルチモデルプラットフォームを実施するためのフレームワークの一例（限定されない例）を示す模式図である。図２は、ＲＯＩラベル予測システムの一例を示すブロック図である。図３は、図２のＲＯＩラベル予測システムを実現可能な構成要素の一例を示すブロック図である。図４Ａは、図１に関連して説明されるプラットフォームなどを用いて実施可能なプロセスの、限定されない一例のステップを示すフローチャートである。図４Ｂは、プラットフォームを用いた実施の、限定されない一例のステップを示すフローチャートである。 次に図１を参照すると、マルチモーダルＡＩプラットフォームを実施するための限定されないフレームワーク１００の模式図が示されている。患者の複数の医用画像１０２の第１セット（１つ以上の異なる時点１０２’、１０２’’、１０２’’’）が、複数の事前学習済み畳み込みニューラルネットワーク（ＣＮＮ）１０４に投入され、複数のＣＮＮ１０４のファインチューニングが行われる。本開示において「ファインチューニング」とは、事前学習済みＣＮＮを読み込み、追加の学習ラウンドを実施することを意味する。限定されない一例として、事前学習済みＣＮＮは、読み込んだ後にモデルの学習率を変更する、又はモデルを学習させるエポック数を増加させることによりファインチューニングされる。学習重みを増加させることにより、個々の被検者からの学習入力（すなわち、複数の医用画像１０２の第１セット）が、従来の学習データよりも高く重み付けされる。限定されない一例として、複数の医用画像１０２には、セグメント化された関心領域（ＲＯＩ）が含まれてもよい。例えば、ＲＯＩには１つ以上の筋肉が含まれてもよいが、これに限定されない。限定されない一例として、医用画像には磁気共鳴（ＭＲ）画像が含まれる。図１の模式図はＭＲ画像を示しているが、これに限定されるものではない。更に、複数の学習済みＣＮＮ１０４は、１つ以上のパラメータにおいて異なる。例えば、パラメータにはネットワーク構造、学習時の１つ以上のパラメータ、学習セット、又はシステムの運用時の１つ以上のパラメータが含まれてもよい。限定されない一例として、パラメータにはウィンドウサイズ、学習率、学習入力解像度、学習データセット、又は学習データの拡張の有無が含まれてもよい。 限定されない一例として、得られた複数のファインチューニング済みＣＮＮ１０６は、複数の医用画像１０８の第２セットがファインチューニング済みＣＮＮ１０６に投入されるまで保存されてもよい。複数の医用画像１０８の第２セットは、複数の医用画像１０２の第１セットとは異なり、従って学習済みＣＮＮ１０４のファインチューニングには使用されていない。更に、複数の医用画像の第２セットは、１つ以上の関心領域（ＲＯＩ）に関してセグメント化、ラベル付け、又はその他の注釈が施されていない。限定されない一例として、複数の医用画像１０８の第２セットにはＭＲ画像が含まれてもよいが、これに限定されない。限定されない一例として、複数の医用画像の第２セットは、複数の医用画像１０２の第１セットよりも被検者の最近取得された医用画像であってもよい。 複数の医用画像１０８の第２セットとともに投入されたファインチューニング済みＣＮＮ１０６は、三次元（３Ｄ）のセグメント化された関心領域（ＲＯＩ）１１０を出力し、これをユーザーにディスプレイ上で提示することが可能である。 本明細書において、「ＣＮＮ」という用語は、「モデル」又は「ＡＩ」と同義で使用されてもよい。 図２を参照すると、本開示に記載されたシステム及び方法の一部の実施形態に従ってＲＯＩラベルを生成するためのシステム２００の例が示されている。図２に示すように、コンピューティング装置２５０は、データソース２０２から１種類以上の医用画像データ（例えば、磁気共鳴（ＭＲ）画像）を受信できる。幾つかの実施形態において、コンピューティング装置２５０は、データソース２０２から受信したデータに基づきＲＯＩラベルを生成するためのＲＯＩラベル予測システム２０４の少なくとも一部を実行できる。 追加的又は代替的に、幾つかの実施形態において、コンピューティング装置２５０は、データソース２０２から受信したデータに関する情報を通信ネットワーク２５４を介してサーバー２５２に送信でき、サーバー２５２はＲＯＩラベル予測システム２０４の少なくとも一部を実行できる。このような実施形態において、サーバー２５２は、ＲＯＩラベル予測システム２０４の出力を示す情報をコンピューティング装置２５０（及び／又は他の適切なコンピューティング装置）に返すことができる。 幾つかの実施形態において、コンピューティング装置２５０及び／又はサーバー２５２は、デスクトップコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、ウェアラブルコンピュータ、サーバーコンピュータ、物理的なコンピューティング装置上で実行される仮想マシンなど、適切なコンピューティング装置又は複数の装置の組み合わせでありえる。更に、コンピューティング装置２５０及び／又はサーバー２５２は、受信したデータから画像を再構築することもできる。 幾つかの実施形態において、データソース２０２は、適切なデータソース（例えば、測定データ、測定データから再構築された画像、処理済み画像データ）であってよい。例えば、ＭＲシステムや他のコンピューティング装置（例えば、測定データ、測定データから再構築された画像、処理済み画像データを格納するサーバー）などである。幾つかの実施形態において、データソース２０２はコンピューティング装置２５０に対してローカルであってもよい。例えば、データソース２０２はコンピューティング装置２５０に組み込まれてもよい（例えば、コンピューティング装置２５０は、データを測定、記録、推定、取得、又はその他の方法で収集・保存する装置の一部として構成されてもよい）。また別の例として、データソース２０２はケーブルや直接の無線リンクなどによってコンピューティング装置２５０に接続されてもよい。追加的又は代替的に、幾つかの実施形態において、データソース２０２はコンピューティング装置２５０からローカルの位置に存在することができ、及び／又は、リモートの位置に存在し、通信ネットワーク（例えば、通信ネットワーク２５４）を介してコンピューティング装置２５０及び／又はサーバー２５２にデータを送信できる。 幾つかの実施形態では、通信ネットワーク２５４は、適切な通信ネットワーク又は複数の通信ネットワークの組み合わせであってもよい。例えば、通信ネットワーク２５４には、Ｗｉ－Ｆｉネットワーク（１つ以上の無線ルーター、１つ以上のスイッチなどを含んでもよい）、ピアツーピアネットワーク（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）ネットワーク）、セルラーネットワーク（例えば、３Ｇネットワーク、４Ｇネットワークなど、ＣＤＭＡ、ＧＳＭ、ＬＴＥ、ＬＴＥ Ａｄｖａｎｃｅｄ、ＷｉＭＡＸなどの適切な規格に準拠）、その他の種類の無線ネットワーク、有線ネットワークなどが含まれてもよい。幾つかの実施形態では、通信ネットワーク２５４は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、公衆ネットワーク（例えば、インターネット）、プライベート又はセミプライベートネットワーク（例えば企業内ネットワークや大学のイントラネット）、その他の適切な種類のネットワーク、又はこれらのネットワークの適切な組み合わせであってよい。図２に示された通信リンクは、それぞれ任意の適切な通信リンク又は複数の通信リンクの組み合わせであってよい。例えば、有線リンク、光ファイバーリンク