Search

JP-7855265-B2 - 偏光マルチパラメータ融合に基づくＰＳ－ＯＣＴ視認性向上方法及びシステム

JP7855265B2JP 7855265 B2JP7855265 B2JP 7855265B2JP-7855265-B2

Inventors

  • 周 翔
  • 武 西寧
  • 趙 士勇

Assignees

  • 天津恒宇医療科技有限公司

Dates

Publication Date
20260508
Application Date
20220812
Priority Date
20220810

Claims (12)

  1. オリジナルのＰＳ－ＯＣＴ画像を取得し、オリジナルのＰＳ－ＯＣＴ画像に対して前処理を行い、測定待ちサンプルの輪郭を取得するＳ１、 測定待ちサンプルの輪郭を利用して、Ｓｔｏｋｅｓ行列に基づいて構築されたＱＵＶ３次元配列をフィルタリングし、偏光状態及び偏光状態画像を得るＳ２、 得られた偏光状態に基づいて、ポアンカレ球を利用して局所光軸画像及び局所位相遅延画像を計算するＳ３、 Ｓ２及びＳ３で得られた複数種の画像に対して平均勾配融合又は重み付け融合を行い、融合後に最終ＰＳ－ＯＣＴ画像を得るＳ４というステップを含 み、 Ｓ３において、局所光軸画像を計算する場合、 ポアンカレ球を利用してＰＳ－ＯＣＴ画像の平面の空間従法線ベクトルＢｎを抽出し、Ｂｎの第２次元と第３次元とを交換し、ｘ＊ｙ＊３の行列を得て、測定待ちサンプルの輪郭を介してフィルタリングし、光軸画像を得て、ｘ及びｙが画像の画素の行数及び列数を表すことをさらに含む、 ことを特徴とする偏光マルチパラメータ融合に基づくＰＳ－ＯＣＴ視認性向上方法。
  2. Ｓ１において、前記前処理は、 オリジナルのＰＳ－ＯＣＴ画像における２つの偏光状態のＨチャンネルデータ及びＶチャンネルデータに対して、コサインテーパーウィンドウを掛けて整形するＳ１０１、 整形後のデータに対してフーリエ変換を行い、Ｈチャンネル及びＶチャンネルのフーリエドメイン行列を得るＳ１０２、 Ｈチャンネル及びＶチャンネルのフーリエドメイン行列に対して、平均値を取った後、Ｈチャンネル及びＶチャンネルのオリジナル画像として、Ｈチャンネル及びＶチャンネルのオリジナル画像を融合するＳ１０３、 融合後の画像に対して設定された閾値に従ってノイズをフィルタリングして除去し、測定待ちサンプルの輪郭を得るＳ１０４というステップを含む、 ことを特徴とする請求項１に記載の偏光マルチパラメータ融合に基づくＰＳ－ＯＣＴ視認性向上方法。
  3. Ｓ１０３において、Ｈチャンネル及びＶチャンネルのオリジナル画像を融合する場合、融合数式は、以下に示す通りであり、 Ｓｔｒｕ ｔｏｔａｌ は、融合後の画像であり、ｐＨ １ 、ｐＨ ２ は、それぞれＨチャンネルの上、下の２つの画像であり、ｐＶ １ 及びｐＶ ２ は、それぞれＶチャンネルの上、下の２つの画像である、 ことを特徴とする請求項２に記載の偏光マルチパラメータ融合に基づくＰＳ－ＯＣＴ視認性向上方法。
  4. Ｓ２において、前記偏光状態画像は、 Ｓｔｏｋｅｓ行列を正規化した後にＱＵＶ３次元配列を形成し、測定待ちサンプルの輪郭を利用して、ＱＵＶ３次元配列をフィルタリングし、輪郭外の画素点を０にし、ＱＵＶ３次元配列をＲＧＢの方式で描き出し、測定待ちサンプルの輪郭の偏光状態カラー画像を得るという方法が採用されたものである、 ことを特徴とする請求項１に記載の偏光マルチパラメータ融合に基づくＰＳ－ＯＣＴ視認性向上方法。
  5. 前記 局所位相遅延画像における 局所位相遅延は、以下のような数式を採用して計算し、 δ ｎ は、 前記 局所位相遅延であり、Ｎ ｎ は、ｎ番目の接触平面内の法線ベクトルであり、Ｎ ｎ－１ は、ｎ－１番目の接触平面の法線ベクトルである、 ことを特徴とする請求項 １ に記載の偏光マルチパラメータ融合に基づくＰＳ－ＯＣＴ視認性向上方法。
  6. 前記局所光軸画像は、以下のような数式を採用して計算し、 Ａ ｎ は、局所光軸であり、Ｂ ｎ は、異なる深さの組織の複屈折効果を重畳した光軸を表し、Ｒ ｎ は、ｎ－１番目の光軸からｎ番目の光軸までの３＊３回転行列であり、δ ｎ は、ｎ番目の接触平面の位相遅延であり、Ａ ｎ （ｘ）、Ａ ｎ （ｙ）、Ａ ｎ （ｚ）は、それぞれ３次元配列の局所光軸Ａ ｎ の３つの次元である、 ことを特徴とする請求項 ５ に記載の偏光マルチパラメータ融合に基づくＰＳ－ＯＣＴ視認性向上方法。
  7. 複数種の画像に対して平均勾配融合を行うことは、 偏光状態画像、局所光軸画像及び局所位相遅延画像の、３種の画像を正規化し、勾配特徴及び調整可能な融合重み係数を利用して、３種の画像の演算結果を融合するという方法を含む、 ことを特徴とする請求項１に記載の偏光マルチパラメータ融合に基づくＰＳ－ＯＣＴ視認性向上方法。
  8. 複数種の画像に対して重み付け融合を行うことは、 偏光状態画像、局所光軸画像及び局所位相遅延画像の、３種の画像を階調画像に変換するＳ４０１、 ３種の階調画像に対して階調特徴融合、形状特徴融合及びテクスチャ特徴融合をそれぞれ行った後、再び融合し、最終的な融合画像を得て、以下のような融合数式に従って最終ＰＳ－ＯＣＴ画像を得るＳ４０２という方法を含み、 ｄ ｉ は、融合係数であり、Ｆｕｓｉｍａｇｅ ｉ は、階調特徴融合、形状特徴融合及びテクスチャ特徴融合後の画像を示す、 ことを特徴とする請求項１に記載の偏光マルチパラメータ融合に基づくＰＳ－ＯＣＴ視認性向上方法。
  9. 前記階調特徴融合は、 階調画像に対して、平均値、分散、エネルギー、傾き、尖度を含む階調特徴値の抽出を行い、 重み付け融合の方式を採用し、元の３種の画像を５枚の前記階調特徴値に基づく図に融合し、 ５つの階調特徴値の融合画像をそれぞれ計算し、 最終的に１枚の階調融合画像になるように、融合後の５枚の階調特徴値の融合画像を再び融合する過程を含む、 ことを特徴とする請求項 ８ に記載の偏光マルチパラメータ融合に基づくＰＳ－ＯＣＴ視認性向上方法。
  10. 前記形状特徴融合は、３種の階調画像に対して形状特徴の抽出を行い、中心モーメントを正規化し、７つの不変モーメントの形状特徴を得て、７つの形状特徴を形状特徴ベクトルとし、１つの形状特徴行列を形成し、形状特徴行列を利用して形状融合を行い、形状融合画像を得ることを含む、 ことを特徴とする請求項 ８ に記載の偏光マルチパラメータ融合に基づくＰＳ－ＯＣＴ視認性向上方法。
  11. 前記テクスチャ特徴融合は、３種の階調画像に対して、エネルギー、エントロピー、コントラスト及び関連性を含むテクスチャ特徴の抽出を行い、テクスチャ特徴を利用してテクスチャ特徴ベクトルを構築し、構築した４種のテクスチャ特徴ベクトルに従って３種の階調画像を融合し、４種のテクスチャ特徴画像を形成してから、前記４種のテクスチャ特徴画像を等しい重みに従って融合し、テクスチャ融合画像を形成することを含む、 ことを特徴とする請求項 ８ に記載の偏光マルチパラメータ融合に基づくＰＳ－ＯＣＴ視認性向上方法。
  12. 上記請求項１～ １１ のいずれか１項に記載の偏光マルチパラメータ融合に基づくＰＳ－ＯＣＴ視認性向上方法を実施するために使用され、 オリジナルのＰＳ－ＯＣＴ画像を取得し、オリジナルのＰＳ－ＯＣＴ画像に対して前処理を行い、測定待ちサンプルの輪郭を取得するための画像取得モジュールと、 測定待ちサンプルの輪郭を利用して、Ｓｔｏｋｅｓ行列に基づいて構築されたＱＵＶ３次元配列をフィルタリングし、偏光状態及び偏光状態画像を得て、得られた偏光状態に基づいて、ポアンカレ球を利用して局所光軸画像及び局所位相遅延画像を計算するための画像処理モジュールと、 上記の得られた複数種の画像に対して平均勾配融合又は重み付け融合を行い、融合後に最終ＰＳ－ＯＣＴ画像を得るための画像融合モジュールと、を備 え、 前記画像処理モジュールは前記局所光軸画像を計算する場合、 ポアンカレ球を利用してＰＳ－ＯＣＴ画像の平面の空間従法線ベクトルＢｎを抽出し、Ｂｎの第２次元と第３次元とを交換し、ｘ＊ｙ＊３の行列を得て、測定待ちサンプルの輪郭を介してフィルタリングし、光軸画像を得て、ｘ及びｙが画像の画素の行数及び列数を表すことをさらに含む、 ことを特徴とする偏光マルチパラメータ融合に基づくＰＳ－ＯＣＴ視認性向上システム。

Description

本発明は、光干渉断層撮影技術の分野に関し、特に偏光マルチパラメータ融合に基づくＰＳ－ＯＣＴ視認性向上方法及びシステムに関する。 光干渉断層撮影技術（Ｏｐｔｉｃａｌ ｃｏｈｅｒｅｎｃｅ ｔｏｍｏｇｒａｐｈｙ、ＯＣＴ）は現在の腔内イメージングの分野で公認された分解能の最も高いイメージング方式であるが、強度に基づいてイメージングする従来のＯＣＴシステムは組織特性の分析の面で不十分であり、これにより、人間又はＡＩが画像を分析する時に異なる膜の構造、プラークなどの異なる生体組織の区別を図るには困難であり、現在臨床で使用されている強度のＯＣＴは使用時に得る画像の表現結果がぼやけている。しかしながら、光が携帯しているのは強度情報のほかに、他の付加的な特性をさらに含み、光が携帯している付加的な特性を利用して異なる組織に対して分析又は定量測定を行い、視認性を向上させることができる。偏光感受型ＯＣＴ（ＰＳ－ＯＣＴ）の原理はこれに基づいたものであり、複数種の生体組織又はサンプルは入力光の偏光変調を実現し、入力光の偏光状態を変えることができ、生体組織又はサンプルの視認性を追加的に表す方式が得られ、強度以外の特徴情報が得られる。 ＰＳ－ＯＣＴ技術は、サンプルの組織に入射する偏光をサンプルの媒体内で伝搬させて反射させることにより、入力する偏光の偏光状態を変化させ、後方反射光の偏光状態を復調することにより、サンプルの偏光特性情報を得て、組織の複屈折による深さ分解イメージングを実現することができる。この特殊な性質はサンプル又は生体組織において特に重要であり、コラーゲンやアクチンなどのような、血管内における等方性組織構造を有するタンパク質又は生体高分子物質は、入射光の偏光状態を変えることができる。それは誘導されて形状複屈折が発生し、測定可能な光学信号を生成する。サンプル又は生体組織からの後方反射光又は後方散乱光の偏光状態を測定することにより、位相遅延や光軸の向きなどのような、深さ分解能におけるサンプルの偏光情報を得ることができる。 現在、ＰＳ－ＯＣＴ偏光情報を演算する従来の技術はほとんどジョーンズ行列又はミュラー行列に基づく位相遅延アルゴリズム及び偏光度アルゴリズムであるが、システムに明らかなディアテニュエーション効果及び偏光解消効果があるため、現在のアルゴリズムにより演算された偏光視認性が低く、従って、偏光特徴情報を演算し、偏光画像の視認性を向上させるためのマルチパラメータ融合解析に基づく方法を提出する。 本発明に係る偏光マルチパラメータ融合に基づくＰＳ－ＯＣＴ視認性向上方法のフローチャートである。本発明に係る偏光マルチパラメータ融合に基づくＰＳ－ＯＣＴ視認性向上方法におけるＰＳ－ＯＣＴ画像インターフェースの模式図である。本発明に係る偏光マルチパラメータ融合に基づくＰＳ－ＯＣＴ視認性向上方法におけるポアンカレ球の模式図である。本発明に係る偏光マルチパラメータ融合に基づくＰＳ－ＯＣＴ視認性向上方法における局所光軸の模式図である。本発明に係る偏光マルチパラメータ融合に基づくＰＳ－ＯＣＴ視認性向上システムの構造模式図である。 以下、図面及び具体的な実施形態により本発明をさらに詳細に説明する。 図１に示すように、本発明の一態様の実施例に係る偏光マルチパラメータ融合に基づくＰＳ－ＯＣＴ視認性向上方法は、 オリジナルのＰＳ－ＯＣＴ画像を取得し、オリジナルのＰＳ－ＯＣＴ画像に対して前処理を行い、測定待ちサンプルの輪郭を取得するＳ１、 測定待ちサンプルの輪郭を利用して、Ｓｔｏｋｅｓ行列に基づいて構築されたＱＵＶ３次元配列をフィルタリングし、偏光状態及び偏光状態画像を得るＳ２、 得られた偏光状態に基づいて、ポアンカレ球を利用して局所光軸画像及び局所位相遅延画像を計算するＳ３、 Ｓ２及びＳ３で得られた複数種の画像に対して平均勾配融合又は重み付け融合を行い、融合後に最終ＰＳ－ＯＣＴ画像を得るＳ４というステップを含む。 本願の１つの実施例では、前処理の過程は、 オリジナルのＰＳ－ＯＣＴ画像における２つの偏光状態のＨチャンネルデータ及びＶチャンネルデータに対して、コサインテーパーウィンドウを掛けて整形するＳ１０１、 整形後のデータに対してフーリエ変換を行い、Ｈチャンネル及びＶチャンネルのフーリエドメイン行列を得るＳ１０２、 Ｈチャンネル及びＶチャンネルのフーリエドメイン行列に対して、平均値を取った後、Ｈチャンネル及びＶチャンネルのオリジナル画像として、Ｈチャンネル及びＶチャンネルのオリジナル画像を融合するＳ１０３、 融合後の画像に対して設定された閾値に従ってノイズをフィルタリングして除去し、測定待ちサンプルの輪郭を得るＳ１０４というステップを含む。 Ｓ１０３において、Ｈチャンネル及びＶチャンネルのオリジナル画像を融合する場合、融合数式は、以下に示す通りであり、 そのうち、Ｓｔｒｕｔｏｔａｌは、融合後の画像であり、ｐＨ１、ｐＨ２は、それぞれＨチャンネルの上、下の２つの画像であり、ｐＶ１及びｐＶ２は、それぞれＶチャンネルの上、下の２つの画像である。 具体的に実施する過程において、システムは、直交する２つの偏光状態のＨチャンネル及びＶチャンネルのＡ－ｓｃａｎデータを採取して得て、それらに対して基準面を引き、１つのコサインテーパーウィンドウを掛けて整形し、分散補償を加算し、そして、ＦＦＴをしてＨ及びＶチャンネルのフーリエドメインＩＭＧ＿Ｈ及びＩＭＧ＿Ｖを得て、それらがｘ＊ｙ＊４の複素行列であるため、画像として表示する場合にその絶対値を取り、３つ目の次元に沿って平均を取ることにより、Ｈ及びＶチャンネルのオリジナル画像を得ることができる。偏光の複屈折効果により位相遅延が発生するため、図２に示すように、Ｈ及びＶチャンネルのいずれにも、上下２枚の画像があり、合計で４枚の画像になり、 これら４枚の画像を融合することで、測定待ちサンプルの構造図を得ることができ、融合数式は以下の通りであり、 そのうち、ｐＨ１、ｐＨ２、ｐＶ１及びｐＶ２は、それぞれＨ及びＶチャンネルの上、下画像である。さらに、輝度を設定する閾値Ｔｈｒが含まれており、Ｓｔｒｕｔｏｔａｌにおける閾値よりも低い画素点をノイズと見なし、測定待ちサンプルの輪郭Ｍｓｋ＿Ｔｈｒを得て、ここまで、データの前処理が済む。 Ｓ２において、前記偏光状態画像は、 Ｓｔｏｋｅｓ行列を正規化した後にＱＵＶ３次元配列を形成し、測定待ちサンプルの輪郭を利用して、ＱＵＶ３次元配列をフィルタリングし、輪郭外の画素点を０にし、ＱＵＶ３次元配列をＲＧＢの方式で描き出し、測定待ちサンプルの輪郭の偏光状態カラー画像を得るという方法が採用されたものである。 偏光状態は、Ｓ０＝ｅ２ｘ＋ｅ２ｙ、Ｓ１＝ｅ２ｘ－ｅ２ｙ、Ｓ２＝２ｅｘｅｙｃｏｓθ、Ｓ３＝２ｅｘｅｙｓｉｎθというＳｔｏｋｅｓパラメータで示す。勿論、Ｓ０ ２＝Ｓ１ ２＋Ｓ２ ２＋Ｓ３ ２であるため、式中、３つの変数のみが独立であり、理想的な場合（即ち、無損失で伝送される場合）、Ｓ０＝定数であるため、Ｓ１、Ｓ２、Ｓ３で示されるのは１つの球面である。Ｓ０＝１の球はポアンカレ球と呼ばれ、球面における各点が光の全偏光状態と一対一に対応する。以下は、偏光状態の計算過程である。 ステップ１において、 θは、Ｈ及びＶチャンネルの間の位相差であり、ＩＭＧ＿Ｖ＊は、ＩＭＧ＿Ｖの共役複素数であり、ｉｍａｇは、複素数の虚部を示し、ｒｅａｌは、複素数の実部を示す。 ステップ２において、正規化し、 Ｑ＝Ｓ１／Ｓ０、Ｕ＝Ｓ２／Ｓ０、Ｖ＝Ｓ３／Ｓ０であり、Ｑ、Ｕ、Ｖは、正規化後の座標である。 ステップ３において、フィルタリングする。フィルタリング方式は、メディアンフィルタリング、ガウシアンフィルタリング、平均値フィルタリング、ｉｍｂｏｘフィルタリング、ｗｉｅｎｅｒフィルタリング、膨張及び収縮などであってもよいが、これらに限られない。 ステップ４において、３次元配列を構築する。Ｑ、Ｕ、Ｖをｘ＊ｙ＊３の３次元配列Ｓｔｏｋｅｓベクトルに構築してから、輪郭Ｍｓｋ＿Ｔｈｒ配列によりＳｔｏｋｅｓをフィルタリングし、輪郭の外の画素点を０にし、最後に得られた３次元配列をＲＧＢの方式で描き出し、測定待ちサンプルの輪郭の偏光状態カラー画像を得る。 図２～３に示すように、Ｓ３において、局所光軸画像を計算する場合、 ポアンカレ球を利用してＰＳ－ＯＣＴ画像の平面の空間従法線ベクトルＢｎを抽出し、Ｂｎの第２次元と第３次元とを交換し、ｘ＊ｙ＊３の行列を得て、測定待ちサンプルの輪郭を介してフィルタリングし、光軸画像を得て、そのうち、ｘ及びｙが画像の画素の行数及び列数を表すことをさらに含む。 上記偏光状態の結果Ｓｔｏｋｅｓを利用し、Ｓｔｏｋｅｓベクトルがポアンカレ球で示されてもよい。図３では、Ｐ１、Ｐ２、Ｐ３は、ストークスパラメータ（Ｓ１、Ｓ２、Ｓ３）で示される３つの偏光状態であり、球面にあり、平面ａは、Ｐ１、Ｐ２、Ｐ３の３点によりフィッティングした平面であり、Ａ１は、ａの平面法線ベクトル、即ちここで要求している光軸である。Ｐ１は、入射偏光状態又は入力偏光状態であり、Ｐ１はサンプルの表層に入射され、表層で直接、反射されて出力偏光状態になり、且つ偏光情報が変化しないため、Ｐ１も出力偏光状態である。Ｐ２、Ｐ３は、Ｐ１がサンプルの光軸Ａ１回りに、ある角度回転して得られたものである。Ｐ１、Ｐ２、Ｐ３は、バランス検出器が受信した出力偏光状態であり、 そのうち、Ｔｎは、Ｐｎ＋１及びＰｎからなる単位接線ベクトルであり、Ｔｎ－１及びＴｎは、１つの接触平面を構成し、Ｂｎは、該平面の空間従法線ベクトルであり、光軸を計算するために使用され、Ｎｎは、該平面内の法線ベクトルであり、位相遅延を計算するために使用される。 Ｂｎに基づいて光軸を計算する方法は、以下の通りである。 まず、Ｂｎの第２次元と第３次元とを交換し、ｘ＊ｙ＊３の行列（ｘ及びｙが画像の画素の行数及び列数を表す）を得て、そして、Ｍｓｋ＿Ｔｈｒによりフィルタリングすることで、光軸画像を得ることができる。 さらに、局所位相遅延は、以下のような数式を採用して計算し、 そのうち、δｎは、局所位相遅延であり、Ｎｎは、ｎ番目の接触平面内の法線ベクトルであり、Ｎｎ－１は、ｎ－１番目の接触平面の法線ベクトルであり、そして、δｎをＲＧＢの３次元配列に変換してから、Ｍｓｋ＿Ｔｈｒによりフィルタリングすることで、サンプルの局所位相遅延ＬｏｃＤＰ画像を得ることができる。 Ｂｎで表される光軸は、異なる深さの組織の複屈折効果を重畳した結果であり、組織の奥には、累積した複屈折効果により結果の歪みが起こるため、深さに従って累積した複屈折効果を除去しなければ、組織の奥の実の光軸情報、即ち下記の数式におけるＡｎのような局所光軸を復元することができない。 局所光軸Ａｎの計算過程は、以下の通りであり、 そのうち、Ｅは、３次の標準単位行列であり、Ｒｎは、ｎ－１番目の光軸からｎ番目の光軸までの３＊３回転行列であり、δｎは、ｎ番目の接触平面の位相遅延であり、Ａｎ（ｘ）、Ａｎ（ｙ）、Ａｎ（ｚ）は、それぞれ３次元配列の局所光軸Ａｎの３つの次元である。Ａｎを測定待ちサンプルの輪郭によりフィルタリングすることで、測定待ちサンプルの局所光軸を得ることができる。 Ｓ４において、複数種の画像に対して平均勾配融合を行うことは、 偏光状態画像、局所光軸画像及び局所位相遅延画像の、３種の画像を正規化し、 勾配特徴及び調整可能な融合重み係数を利用して、３種