Search

JP-2026515033-A - 内視鏡画像の画質向上方法及びシステム

JP2026515033AJP 2026515033 AJP2026515033 AJP 2026515033AJP-2026515033-A

Abstract

本発明は内視鏡画像の画質向上方法及びシステムを開示する。この方法は複雑画質向上モデル、軽量画質向上モデル、原画内視鏡画像群及び低画質画像群を取得し、中間特徴損失、コントラスト損失及び再構成損失を組み合わせた総損失を計算し、軽量画質向上モデルを訓練する。この方法により訓練された軽量画質向上モデルは、内視鏡画像の解像度向上に対して強い処理能力と処理速度を持ち、医師の読影効率を大幅に向上させる。

Inventors

  • 金 凡
  • 張 皓

Assignees

  • 安翰科技（武漢）股分有限公司

Dates

Publication Date
20260513
Application Date
20240430
Priority Date
20230504

Claims (12)

  1. 内視鏡画像の画質向上方法であって、 複雑画質向上モデル、軽量画質向上モデル、原画内視鏡画像群及び低画質画像群を取得するステップであって、前記軽量画質向上モデルの中間ブロック数は前記複雑画質向上モデルの中間ブロック数より少なく、前記原画内視鏡画像群は内視鏡により取得された複数の消化管画像を含み、前記低画質画像群に属する各低画質画像には前記原画内視鏡画像群に対応する高画質画像が存在するステップと、 前記低画質画像群を前記複雑画質向上モデル及び前記軽量画質向上モデルに入力し、前記複雑画質向上モデルに第一画質向上内視鏡画像群を出力させ、前記軽量画質向上モデルに第二画質向上内視鏡画像群を出力させるステップと、 前記低画質画像群の画像をエッジ保持フィルタリングアルゴリズムにより処理して、ぼかし内視鏡画像群を生成するステップと、 前記複雑画質向上モデル及び前記軽量画質向上モデルのそれぞれにおいて、浅層から深層の順にｎ個の中間ブロックを選出し、前記複雑画質向上モデル及び前記軽量画質向上モデルのｎ個の中間ブロックが出力する中間特徴を順序に応じて一対一で対応させ、前記複雑画質向上モデルのｎ個の中間特徴と対応する前記軽量画質向上モデルの中間特徴との間の中間特徴損失を計算するステップと、 前記第一画質向上内視鏡画像群及び前記第二画質向上内視鏡画像群と前記ぼかし内視鏡画像群との間のコントラスト損失を計算するステップと、 前記第一画質向上内視鏡画像群及び前記第二画質向上内視鏡画像群と前記原画内視鏡画像群との間の再構成損失を計算するステップと、 前記中間特徴損失、前記コントラスト損失及び前記再構成損失により、総損失を計算するステップと、 前記総損失と前記複雑画質向上モデルに基づいて、前記軽量画質向上モデルを訓練するステップとを含む、 内視鏡画像の画質向上方法。
  2. 前記低画質画像群に属する各低画質画像は、前記原画内視鏡画像群中の画像に画像のぼかし、ノイズ注入及び画像圧縮を施すことにより得られる、 請求項１に記載の内視鏡画像の画質向上方法。
  3. 前記複雑画質向上モデル及び前記軽量画質向上モデルのそれぞれにおいて、浅層から深層の順にｎ個の中間ブロックを選出し、前記複雑画質向上モデル及び前記軽量画質向上モデルのｎ個の中間ブロックが出力する中間特徴を順序に応じて一対一で対応させるステップは、 前記複雑画質向上モデル及び前記軽量画質向上モデルの中間ブロックのそれぞれにおいて、浅層から深層の順にｎ個の中間ブロックを選出するステップであって、前記複雑画質向上モデルのｎ個の中間ブロック及び前記軽量画質向上モデルのｎ個の中間ブロックは、それぞれの中間ブロックの総数を基本的に等分割されたｎ個の部分群に分け、基本的に等しい間隔でｎ個の部分群からそれぞれ１つ選出された中間ブロックであるステップと、 各モデルの中間ブロックの順序に従って、前記複雑画質向上モデルにおいて選出された中間ブロックが出力する中間特徴と前記軽量画質向上モデルにおいて選出された中間ブロックが出力する中間特徴とを一対一で対応させ、順にｎ組の対応する中間特徴を生成するステップとを含む、 請求項１に記載の内視鏡画像の画質向上方法。
  4. 前記複雑画質向上モデルのｎ個の中間特徴と対応する前記軽量画質向上モデルの中間特徴との間の中間特徴損失を計算するステップは、 複雑画質向上モデルの中間特徴と前記軽量画質向上モデルの中間特徴に特徴変換を施し、同じ次元の特徴空間に変換するステップと、 ｎ個の変換後の前記複雑画質向上モデルの中間特徴と、対応する前記軽量画質向上モデルの中間特徴との間の距離損失を計算するステップと、 ｎ個の距離損失を加算して平均を求めることにより前記中間特徴損失を得るステップとを含む、 請求項１に記載の内視鏡画像の画質向上方法。
  5. 前記原画内視鏡画像群、前記第一画質向上内視鏡画像群、前記第二画質向上内視鏡画像群、及び前記ぼかし内視鏡画像群の画像の解像度は全て同じである、 請求項１に記載の内視鏡画像の画質向上方法。
  6. 前記低画質画像群の画像をエッジ保持フィルタリングアルゴリズムにより処理して、ぼかし内視鏡画像群を生成するステップは、 前記低画質画像群の画像を前記第二画質向上内視鏡画像群の解像度と一致するようにアップサンプリングするステップと、 アップサンプリング後の前記低画質画像群をぼかし処理してぼかし内視鏡画像群を生成するステップとを含む、 請求項５に記載の内視鏡画像の画質向上方法。
  7. 前記第一画質向上内視鏡画像群及び前記第二画質向上内視鏡画像群と前記ぼかし内視鏡画像群との間のコントラスト損失を計算するステップは、 ＶＧＧ１９ネットワークを潜在特徴空間のマッピング関数として用いるステップを含み、 前記コントラスト損失Ｌ ＣＬ の計算式は、 であり、 ここで、Ｎはサンプル数、Ｍは潜在特徴空間のマッピング関数が出力する特徴数、λ ｊ は第ｊ個の特徴の重み、φは潜在特徴空間のマッピング関数、Ｋは前記ぼかし内視鏡画像群の画像数、Ｏ Ｔ 、Ｏ Ｓ 、Ｏ Ｎｅｇ はそれぞれ前記第一画質向上内視鏡画像群、前記第二画質向上内視鏡画像群及び前記ぼかし内視鏡画像群の画像、ｄは距離関数を表す、 請求項５に記載の内視鏡画像の画質向上方法。
  8. 前記第一画質向上内視鏡画像群及び前記第二画質向上内視鏡画像群と前記原画内視鏡画像群との間の再構成損失を計算するステップにおいて、 前記再構成損失Ｌｒｅｃの計算式は、 であり、 ここで、Ｎは前記原画内視鏡画像群の画像数、Ｏ Ｔ 、Ｏ Ｓ 、Ｏ ＧＴ はそれぞれ前記第一画質向上内視鏡画像群、前記第二画質向上内視鏡画像群及び前記原画内視鏡画像群の画像、ｄは距離関数を表す、 請求項５に記載の内視鏡画像の画質向上方法。
  9. 前記中間特徴損失、前記コントラスト損失及び前記再構成損失により、総損失を計算するステップにおいて、 前記総損失の計算式は、 Ｌ＝ Ｌｒｅｃ ＋αＬ ｆｅａ ＋βＬ ＣＬ であり、 ここで、Ｌ ｒｅｃ は前記再構成損失、Ｌ ｆｅａ は前記中間特徴損失、Ｌ ＣＬ は前記コントラスト損失、α及びβはそれぞれ中間特徴損失とコントラスト損失の重みを表す、 請求項５に記載の内視鏡画像の画質向上方法。
  10. 内視鏡画像の画質向上システムであって、 複雑画質向上モデル、軽量画質向上モデル、原画内視鏡画像群及び低画質画像群を取得するように構成された取得装置であって、前記軽量画質向上モデルの中間ブロック数は前記複雑画質向上モデルの中間ブロック数より少なく、前記原画内視鏡画像群は内視鏡により取得された複数の消化管画像を含み、前記低画質画像群に属する各低画質画像には前記原画内視鏡画像群に対応する高画質画像が存在する取得装置と、 前記低画質画像群を前記複雑画質向上モデル及び軽量画質向上モデルに入力し、前記複雑画質向上モデルが第一画質向上内視鏡画像群を出力し、前記軽量画質向上モデルが第二画質向上内視鏡画像群を出力するように構成された出力装置と、 前記低画質画像群の画像をエッジ保持フィルタリングアルゴリズムにより処理して、ぼかし内視鏡画像群を生成するように構成されたネガティブサンプル生成装置と、 前記複雑画質向上モデル及び前記軽量画質向上モデルのそれぞれにおいて、浅層から深層の順にｎ個の中間ブロックを選出し、前記複雑画質向上モデル及び前記軽量画質向上モデルのｎ個の中間ブロックが出力する中間特徴を順序に応じて一対一で対応させ、前記複雑画質向上モデルのｎ個の中間特徴と対応する前記軽量画質向上モデルの中間特徴との間の中間特徴損失を計算するように構成された中間特徴損失計算装置と、 前記第一画質向上内視鏡画像群及び前記第二画質向上内視鏡画像群と前記ぼかし内視鏡画像群との間のコントラスト損失を計算するように構成されたコントラスト損失計算装置と、 前記第一画質向上内視鏡画像群及び前記第二画質向上内視鏡画像群と前記原画内視鏡画像群との間の再構成損失を計算するように構成された再構成損失計算装置と、 前記中間特徴損失、前記コントラスト損失及び前記再構成損失により、総損失を計算するように構成された総損失計算装置と、 前記総損失と前記複雑画質向上モデルに基づいて、前記軽量画質向上モデルを訓練するように構成された訓練装置と、 を含む内視鏡画像の画質向上システム。
  11. 電子装置であって、 コンピュータプログラムを格納するメモリと、 前記コンピュータプログラムを実行することにより、請求項１に記載の内視鏡画像の画質向上方法の各ステップを実現するプロセッサと、 を含む電子装置。
  12. コンピュータプログラムが格納された読み取り可能な記憶媒体であって、該コンピュータプログラムがプロセッサにより実行されることにより、請求項１に記載の内視鏡画像の画質向上方法の各ステップを実現する、 読み取り可能な記憶媒体。

Description

優先権主張 本出願は、２０２３年５月４日に出願された中国特許出願第２０２３１０４８４３６８．９号（発明の名称：「内視鏡画像の画質向上方法及び装置」）の優先権を主張し、その全内容を引用により本願に組み込む。 本発明は内視鏡医療処理分野に関し、特に内視鏡画像の画質向上方法及びシステムに関する。 内視鏡は、消化管内の画像を撮影するための装置であり、例えば人体内で撮影を行う。一回の内視鏡検査で通常数万枚の画像が生成され、これらの画像を全て高画質画像として出力すると、帯域幅の占有が大きく、伝送時間が長くなるため、通常は低解像度に圧縮される。また、消化管内の撮影環境が比較的劣悪であるため、これらの低解像度画像の識別がさらに困難となり、医師の画像読影に影響を及ぼしている。 既存の深層ニューラルネットワークに基づく画質向上モデルを用いてこれらの画像の解像度を向上させる場合、データ量が大きくモデルの実行速度が遅いため、医師は長時間の待機を強いられる。また、既存の画質向上モデルは内視鏡画像に特化したモデルではないため、医師の読影効率を向上させることができない。 このため、内視鏡画像の出力速度を大幅に向上させ、かつ画像の解像度向上効果が優れた方法を提供し、医師の読影効率を向上させる必要がある。 上記の従来技術の課題の少なくとも一つを解決するために、本発明の目的は、出力速度が速く、出力画質が優れた内視鏡画像の画質向上方法及びシステムを提供することにある。 上記発明の目的を達成するために、本発明の一実施形態は、内視鏡画像の画質向上方法を提供する。この方法は、 複雑画質向上モデル（complex image quality enhancement model）、軽量画質向上モデル(lightweight image quality enhancement model)、原画内視鏡画像群（original endoscopic image group）及び低画質画像群（low-definition image group）を取得するステップであって、前記軽量画質向上モデルの中間ブロック数は前記複雑画質向上モデルの中間ブロック数より少なく、前記原画内視鏡画像群は内視鏡により取得された複数の消化管画像を含み、前記低画質画像群に属する各低画質画像には前記原画内視鏡画像群に対応する高画質画像が存在するステップと、 前記低画質画像群を前記複雑画質向上モデル及び前記軽量画質向上モデルに入力し、前記複雑画質向上モデルに第一画質向上内視鏡画像群を出力させ、前記軽量画質向上モデルに第二画質向上内視鏡画像群を出力させるステップと、 前記低画質画像群の画像をエッジ保持フィルタリングアルゴリズムにより処理して、ぼかし内視鏡画像群を生成するステップと、 前記複雑画質向上モデル及び前記軽量画質向上モデルのそれぞれにおいて、浅層から深層の順でｎ個の中間ブロックを選出し、前記複雑画質向上モデル及び前記軽量画質向上モデルのｎ個の中間ブロックが出力する中間特徴を順序に応じて一対一で対応させ、前記複雑画質向上モデルのｎ個の中間特徴と対応する前記軽量画質向上モデルの中間特徴との間の中間特徴損失を計算するステップと、 前記第一画質向上内視鏡画像群及び前記第二画質向上内視鏡画像群と前記ぼかし内視鏡画像群との間のコントラスト損失を計算するステップと、 前記第一画質向上内視鏡画像群及び前記第二画質向上内視鏡画像群と前記原画内視鏡画像群との間の再構成損失を計算するステップと、 前記中間特徴損失、前記コントラスト損失及び前記再構成損失により、総損失を計算するステップと、 前記総損失と前記複雑画質向上モデルに基づいて、前記軽量画質向上モデルを訓練するステップとを含む。 本発明の一実施例による内視鏡画像の画質向上方法のフローチャートである。図１のステップＳ４０の具体的なステップのフローチャートである。本発明の一実施例による内視鏡画像の画質向上モデルのネットワーク構造フレームワーク図である。本発明の一実施例による内視鏡画像の画質向上システムの構造ブロック図である。 本発明の一実施例は、出力速度が速く、出力画質が優れた内視鏡画像の画質向上方法及びシステムを提供する。内視鏡画像は、ユーザーが内視鏡検査を受ける際に、カプセル状の内視鏡が消化管内を移動し、内視鏡上の撮像モジュールが撮影した画像であり、これらの画像を人体外の装置に伝送して保存、解析し、医師が読影するために提供される。 図１～図３を参照して、本発明の一実施例による内視鏡画像の画質向上方法について説明する。本願が提供する以下の実施形態やフローチャートに示される方法操作ステップにおいて、論理的に必然的な因果関係のないステップについては、それらのステップの実行順序は本願の実施形態で提供される実行順序に限定されない。例えば、以下のステップＳ２０、Ｓ３０及びＳ４０の取得順序は任意に調整可能であり、時間的な前後関係は区別されない。 具体的に、本実施例の内視鏡画像の画質向上方法は、図１及び図２に示すように、画質向上モデルは図３に示すように、以下のステップを含む。 ステップＳ１０：複雑画質向上モデル１０、軽量画質向上モデル２０、原画内視鏡画像群ＯＧＴ及び低画質画像群ＬＲを取得する。 ここでは画像群とモデルの二つの側面から説明する。 （１）画像群 画内視鏡画像群ＯＧＴと低画質画像群ＬＲは、予め作成され、マッチングされた内視鏡画像のデータセットであり、前記原画内視鏡画像群ＯＧＴは内視鏡により取得された複数の消化管画像を含み、前記低画質画像群ＬＲの各低画質画像は前記原画内視鏡画像群ＯＧＴに対応する高画質画像が存在し、低画質画像群ＬＲは原画内視鏡画像群ＯＧＴから劣化させて得られ、対応する低画質－高画質画像ペアを形成する。 さらに、本実施例では、内視鏡画像特有の画像形成プロセスをシミュレートした。前記低画質画像群ＬＲの各低画質画像は、画像劣化ユニットにより、以下の劣化方式で形成される。すなわち、前記原画内視鏡画像群ＯＧＴの画像に画像のぼかし、ノイズ注入及び画像圧縮を施し、高画質画像から対応する低画質画像を生成する。 具体的に、画像劣化ユニットは画像ぼかしユニット、ノイズ注入ユニット及び画像圧縮ユニットを含む。 画像ぼかしユニットは、レンズのぼけをシミュレートするように構成され、点拡散関数によりカメラレンズのぼけカーネルを計算し、ガウシアンぼけカーネルによりレンズ振動によるぼけプロセスをシミュレートする。ノイズ注入ユニットは、信号ノイズをシミュレートするように構成され、暗室での露光撮影によりカメラの暗電流ノイズと信号ガウシアンノイズを較正する。画像圧縮ユニットは、圧縮プロセスの画像圧縮を行うように構成され、ＯｐｅｎＣＶライブラリのｃｖ２．ｅｎｃｏｄｅ関数とｃｖ２．ｄｅｃｏｄｅ関数を用いてＪＰＥＧ（Joint Photographic Experts Group）圧縮を実現する。 （２）モデル 複雑画質向上モデル１０は、予め訓練された画像画質向上モデルであり、画質向上モデルにより内視鏡画像の画質を向上させるために用いられる。まずＬ１損失を用いて生成器ネットワークを訓練し、上記で得られた原画内視鏡画像群ＯＧＴと低画質画像群ＬＲを用いて初期化モデルを訓練し、次に予備訓練段階でGAN（Generative Adversarial Network）ネットワークを用いて初期化モデルを敵対的に訓練し、Ｌ１損失、知覚損失及びＧＡＮ損失を組み合わせて共同訓練を行い、性能の優れた複雑画質向上モデル１０を得る。これは画質向上のための複雑な大規模モデルである。 本実施例では、複雑画質向上モデル１０のネットワークの主要構造は密結合畳み込みネットワークRRDB（Residual in Residual Dense Block）に基づき、中間特徴チャネル数は６４、中間ブロック数は２３である。 画質向上モデルの産業用コンピュータ上での実行速度を向上させるため、本実施例では複雑画質向上モデル１０を軽量画質向上モデル２０に圧縮する。軽量画質向上モデル２０の主要構造は複雑画質向上モデル１０のネットワークと一致し、前記軽量画質向上モデル２０の中間ブロック数は前記複雑画質向上モデル１０より少なく、実験により異なる中間ブロック数を試行して最適案を決定することができる。本実施例では、軽量画質向上モデル２０の主要構造は中間特徴チャネル数が６４、中間ブロック数が１１のＲＲＤＢネットワークである。軽量画質向上モデル２０の中間ブロック数が１１であるため、軽量画質向上モデル２０のネットワークパラメータ量は複雑画質向上モデル１０のネットワークパラメータ量の約半分に減少する。 ステップＳ２０：前記低画質画像群ＬＲを複雑画質向上モデル１０と軽量画質向上モデル２０に入力し、前記複雑画質向上モデル１０は第一画質向上内視鏡画像群ＯＴを出力し、前記軽量画質向上モデル２０は第二画質向上内視鏡画像群ＯＳを出力する。 複雑画質向上モデル１０と軽量画質向上モデル２０の構造フレームワーク図は、図３に示すように、いずれも複数の中間ブロック１１、アップサンプリングブロック１２及び畳み込み層１３を含み、低画質画像を第一層の中間ブロック１１に入力し、順次より深い層の中間ブロック１１を経て、アップサンプリングブロック１２を経て、最終的に畳み込み層１３から高画質画像を出力する。 低画質画像群ＬＲが複雑画質向上モデル１０を経て、畳み込み層１３は第一画質向上内視鏡画像群ＯＴ及び複数の中間ブロック１１が出力する中間特徴を出力する。低画質画像群ＬＲが軽量画質向上モデル２０を経て、畳み込み層１３は第二画質向上内視鏡画像群ＯＳ及び複数の中間ブロック１１が出力する中間特徴を出力する。 ステップＳ３０：前記低画質画像群ＬＲの画像をエッジ保持フィルタリングアルゴリズムにより処理して、ぼかし内視鏡画像群ＯＮｅｇを生成する。 ぼかし内視鏡画像群ＯＮｅｇはネガティブサンプルとして、モデル最適化空間の下界を向上させるために用いられ、軽量画質向上モデル２０は入力低解像度画像を出力高解像度画像に変換することを学習する必要があり、かつぼかし画像と高解像度画像との差異を区別できるべきである。ぼかし内視鏡画像群ＯＮｅｇは、軽量画質向上モデル２０が画像中の細部やテクスチャなどの特徴をより良く捕捉することを助け、それにより画質向上モデルの性能とロバスト性を向上させ、画質向上問題をより良く解決することができる。 本実施例では、前記低画質画像群ＬＲから生成されるネガティブサンプルにより軽量画質向上モデル２０の探索空間を制約し、軽量画質向上モデル２０が大域的最適解に収束することに有利である。関連する低画質画像群ＬＲから生成されるネガティブサンプルと軽量画質向上モデル２０の出力結果との差異がより近いため、それらは潜在特徴空間での距離がより近く、ネガティブサンプルの参考意義が大きく、軽量画質向上モデル２０が有用な情報を学習することに有利である。 ぼかし内視鏡画像群ＯＮｅｇは期待される鮮明な画像の反対標的として、期待される画像の全体的な構造フレームワークを含み、高周波情報（細部テクスチャ）を無視する必要がある。ここでは図３と図４を参照してステップＳ３０をさらに説明する。ステップＳ３０はネガティブサンプル生成装置１３０により実現され、ネガティブサンプル生成装置１３０はぼかしブロック１５を含み、各種のエッジ保持フィルタリング関数をぼかしブロック１５のメイン関数として使用できる。 ステップＳ３０は具体的に以下を含む。 ステップＳ３１：前記低画質画像群ＬＲの画像を前記第二画質向上内視鏡画像群ＯＳの解像度と一致するようにアップサンプリングする。 ステップＳ３２：アップサンプリング後の前記低画質画像群ＬＲをぼかし処理してぼかし内視鏡画像群ＯＮｅｇを生成する。 ス