KR-20260060626-A - Apparatus and Method for Detecting Diseased Areas Using Unsupervised Learning-Based Deep Learning in Capsule Endoscopy Images

Abstract

본 발명은 캡슐 내시경 영상에서 비지도 학습 기반 딥러닝을 이용한 병증 영역 검출 장치 및 그 방법에 관한 것으로, 본 발명의 실시예에 따른 캡슐 내시경 영상에서 비지도 학습 기반 딥러닝을 이용한 병증 영역 검출 장치는, 다수의 캡슐 내시경 이미지를 사용하여 크기 조정 및 RGB 표준화를 수행하고, 사전에 기 학습된 가중치로 초기화한 후, 대조적 학습으로 쿼리 인코더와 키 인코더를 사용하며, 상기 키 인코더는 모멘텀 기반 이동 평균을 통해 상기 쿼리 인코더의 가중치를 업데이트하는 캡슬 내시경 모델 학습부와, 상기 내시경 이미지 중 비정상 이미지와 정상 이미지의 특징 벡터를 추출하고, 이를 K-평균 알고리즘을 이용하여 클러스터를 형성하고, 각각의 상기 클러스터의 중심과 입력 이미지 간의 거리를 이용하여 병변을 탐지하는 병변 탐지부와, 적대적 등반(Adversarial Climbing)을 통해 상기 이미지에 특정 클래스에 대한 점수를 조정하는 조정부를 포함한다.

Inventors

• 어태준
• 안지웅

Assignees

• 주식회사 프로브메디컬

Dates

Publication Date

20260506

Application Date

20241025

Claims (3)

1. 다수의 캡슐 내시경 이미지를 사용하여 크기 조정 및 RGB 표준화를 수행하고, 사전에 기 학습된 가중치로 초기화한 후, 대조적 학습으로 쿼리 인코더와 키 인코더를 사용하며, 상기 키 인코더는 모멘텀 기반 이동 평균을 통해 상기 쿼리 인코더의 가중치를 업데이트하는 캡슬 내시경 모델 학습부; 상기 내시경 이미지 중 비정상 이미지와 정상 이미지의 특징 벡터를 추출하고, 이를 K-평균 알고리즘을 이용하여 클러스터를 형성하고, 각각의 상기 클러스터의 중심과 입력 이미지 간의 거리를 이용하여 병변을 탐지하는 병변 탐지부; 및 적대적 등반(Adversarial Climbing)을 통해 상기 이미지에 특정 클래스에 대한 점수를 조정하는 조정부를 포함하는 캡슐 내시경 영상에서 비지도 학습 기반 딥러닝을 이용한 병증 영역 검출 장치.
2. 병증 영역 검출 방치의 검출 방법. 다수의 캡슐 내시경 이미지를 사용하여 크기 조정 및 RGB 표준화를 수행하고, 사전에 기 학습된 가중치로 초기화한 후, 대조적 학습으로 쿼리 인코더와 키 인코더를 사용하며, 상기 키 인코더는 모멘텀 기반 이동 평균을 통해 상기 쿼리 인코더의 가중치를 업데이트하는 캡슬 내시경 모델 학습단계; 상기 내시경 이미지 중 비정상 이미지와 정상 이미지의 특징 벡터를 추출하고, 이를 K-평균 알고리즘을 이용하여 클러스터를 형성하고, 각각의 상기 클러스터의 중심과 입력 이미지 간의 거리를 이용하여 병변을 탐지하는 병변 탐지단계; 및 적대적 등반(Adversarial Climbing)을 통해 상기 이미지에 특정 클래스에 대한 점수를 조정하는 조정단계를 포함하는 캡슐 내시경 영상에서 비지도 학습 기반 딥러닝을 이용한 병증 영역 검출 방법.
3. 제2항에 있어서, 상기 대조적 학습에서 쿼리 인코더와 키 인코더를 사용하며, 상기 키 인코더는 모멘텀 기반 이동 평균을 통해 상기 쿼리 인코더의 가중치를 업데이트하되, 상기 대조적 손실 함수는 다음의 수학식을 이용하는 캡슐 내시경 영상에서 비지도 학습 기반 딥러닝을 이용한 병증 영역 검출 방법: [수학식] 여기서, q는 쿼리 인코딩, 'k + '는 동일 이미지의 양성 키, 'k - '는 다른 이미지의 음성 키, τ는 온도 매개변수이다.

Description

캡슐 내시경 영상에서 비지도 학습 기반 딥러닝을 이용한 병증 영역 검출 장치 및 그 방법{Apparatus and Method for Detecting Diseased Areas Using Unsupervised Learning-Based Deep Learning in Capsule Endoscopy Images} 본 발명은 캡슐 내시경 영상에서 비지도 학습 기반 딥러닝을 이용한 병증 영역 검출 장치 및 그 방법에 관한 것으로, 보다 구체적으로 캡슐 내시경 영상에서 혈관성/종양성/염증성의 세 가지 장내 질환 영역을 검출하는 기술이 개시된다. 기존의 비정상 병변 탐지 기술은 대량의 라벨링된 데이터가 필요했지만, 의료 데이터는 라벨링에 많은 시간과 비용이 소요된다. 기존의 분류기 모델의 XAI에 기반한 WSSS 기술은 분류 성능을 위해 모델이 포착하는 영역이 객체 경계 및 영역 전반에 명확하게 일치하지 않는 문제가 발생한다. 동일한 다기관 다국적 캡슐내시경 데이터셋에서 학습된 캡슐내시경 병증 검출 모델 역시 동일한 결과를 보인다. 대표적인 baseline인 GradCAM의 경우, heatmap 영역과 평가용 라벨로 주어진 박스 영역에 대한 threshold별 평가 지표인 MaxBoxAccV2가 0.04~0.05 (IOU) 수준으로 나타난다. 또한, 라벨링의 한계로 인해 기존 구축된 데이터셋 상에서 미처 라벨링되지 않은 병증 영역(false negative)이 다수 관찰되는데, supervised detection 학습을 사용할 경우 해당 샘플은 모델에 잘못된 업데이트를 iteration마다 제공하여 성능을 저해하고 작은 영역에 대한 민감성을 낮추는 문제점이 있다. 종래의 기술 중 대한민국 등록특허 제10-2063492호는 기계학습용 의료 영상 데이터의 학습 노이즈 필터링 방법 및 그 시스템에 관한 것으로, 학습 노이즈 정의부, 필터 생성부, 필터링부를 포함하고, 상기 학습 노이즈 정의부가, 기계학습 목적에 따른 학습 노이즈의 정의사항을 수신하는 단계와, 상기 필터 생성부가, 상기 학습 노이즈의 정의사항에 기반하여 상기 학습 노이즈를 필터링하기 위한 필터를 생성하는 단계와, 상기 필터링부가, 상기 생성된 필터를 이용하여 기계학습에 방해가 되는 학습 노이즈를 제거하는 단계를 포함한다. 그러나, 상기 종래의 기술은 비지도 학습에 기반하여 캡슐 내시경 영상에서 혈관성/종양성/염증성의 세 가지 장내 질환 영역을 검출할 수 없다는 한계가 있다. 도 1은 본 발명의 실시예에 따른 캡슐 내시경 영상에서 비지도 학습 기반 딥러닝을 이용한 병증 영역 검출 장치의 구성도이다. 도 2는 도 1에 따른 병증 영역 검출 장치를 통한 검출 방법의 흐름도이다. 도 3은 도 2에 따른 병증 영역 검출 방법 중 원본 이미지 대비 이를 5,000번 학습한 학습한 이미지를 비교 설명하기 위한 예시도이다. 도 4는 도 2에 따른 병증 영역 검출 방법 중 원본 이미지 대비 이를 1,000번 학습한 이미지를 비교 설명하기 위한 예시도이다. 도 5는 도 2에 따른 병증 영역 검출 방법 중 원본 이미지 대비 이를 4,000번 학습한 이미지를 비교 설명하기 위한 예시도이다. 이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세하게 설명한다. 사용되는 용어들은 실시예에서의 기능을 고려하여 선택된 용어들로서, 그 용어의 의미는 사용자, 운용자의 의도 또는 판례 등에 따라 달라질 수 있다. 그러므로 후술하는 실시예들에서 사용된 용어의 의미는, 본 명세서에 구체적으로 정의된 경우에는 그 정의에 따르며, 구체적인 정의가 없는 경우는 당업자들이 일반적으로 인식하는 의미로 해석되어야 할 것이다. 도 1은 본 발명의 실시예에 따른 캡슐 내시경 영상에서 비지도 학습 기반 딥러닝을 이용한 병증 영역 검출 장치의 구성도이고, 도 2는 도 1에 따른 병증 영역 검출 장치를 통한 검출 방법의 흐름도이고, 도 3은 도 2에 따른 병증 영역 검출 방법 중 원본 이미지 대비 이를 5,000번 학습한 학습한 이미지를 비교 설명하기 위한 예시도이고, 도 4는 도 2에 따른 병증 영역 검출 방법 중 원본 이미지 대비 이를 1,000번 학습한 이미지를 비교 설명하기 위한 예시도이고, 도 5는 도 2에 따른 병증 영역 검출 방법 중 원본 이미지 대비 이를 4,000번 학습한 이미지를 비교 설명하기 위한 예시도이다. 도 1 내지 도 5를 참조하면, 본 발명의 실시예에 따른 캡슐 내시경 영상에서 비지도 학습 기반 딥러닝을 이용한 병증 영역 검출 장치(100)는 캡슐 내시경 모델 학습부(110), 병변 탐지부(120) 및 조정부(130)를 포함한다. 캡슐 내시경 모델 학습부(110)은 ResNet50 모델을 기반으로 한 모멘텀 대조 학습(MoCo v3) 프레임워크를 사용하여 비지도 학습을 수행한다(S110). 먼저 데이터 준비단계로 다수의 캡슐 내시경 이미지를 사용하여 512x512 픽셀로 크기 조정 및 RGB 표준화(mean 및 standard deviation)를 수행한다. 다음으로 모델 학습을 위해 ResNet50 모델의 백본을 ImageNet으로 사전 학습된 가중치로 초기화한 후, MoCo v3 프레임워크를 적용하여 대조적 학습을 진행한다. 대조적 학습에서 쿼리 인코더와 키 인코더를 사용하며, 키 인코더는 모멘텀 기반 이동 평균을 통해 쿼리 인코더의 가중치를 업데이트한다. 이 경우, 대조적 손실 함수는 다음의 수학식 1과 같이 정의된다: 여기서, q는 쿼리 인코딩, 'k+'는 동일 이미지의 양성 키, 'k-'는 다른 이미지의 음성 키, τ는 온도 매개변수이다. 병변 탐지부(120)는 정상 데이터를 이용한 비정상 병변 탐지를 수행한다. 병변 탐지부는 정상 데이터를 이상치로 간주하여 모델이 비정상 영역을 더 쉽게 탐지할 수 있도록 한다(S120). 이를 통해 모델은 정상적인 장기의 배경을 억제하고, 병변과 같은 비정상적인 영역을 강화할 수 있다. 학습 방법으로 정상 데이터를 OoD로 취급하여, 모델이 정상 및 비정상 영역의 특징을 효과적으로 구분할 수 있도록 메트릭 학습을 적용한다. 클러스터링 기반 메트릭 학습으로 비정상 이미지와 OoD(정상) 이미지의 특징 벡터를 추출하고, 이를 K-평균 알고리즘을 이용하여 클러스터를 형성한다. 각 클러스터의 중심과 입력 이미지 간의 거리는 다음의 수학식 2와 같이 정의된다: 여기서, z(x)는 입력 이미지 x의 특징 벡터, pk는 클러스터 Pk의 중심이다. 손실 함수는 비정상 클러스터와 정상 클러스터 사이의 구별을 강화하기 위해 설계되며, 다음의 수학식 3과 같다: 여기서, y는 입력 이미지의 클래스 존재 여부를 나타내는 바이너리 벡터, xin은 비정상 이미지, Pin 은 비정상 클러스터, Pood는 정상 클러스터를 의미한다. 한편, 전체 손실 함수는 다음의 수학식 4와 같이 정의된다. 여기서, Lcls는 클래스 분류 손실, λ는 두 손실 요소를 조정하는 정규화 매개변수이다. 다음으로, 조정부(130)는 AdvCAM은 적대적 등반(Adversarial Climbing)을 통해 CAM을 향상시킨다(S130). 이는 특정 클래스에 대한 점수를 높이기 위해 이미지를 조정하는 방식이다. 반복적 조정으로, Projected Gradient Descent(PGD)에서 영감을 받아, 이미지 xt를 반복적으로 조정하여 대상 클래스의 특징을 더욱 부각시킨다. 조정은 다음과 같은 수힉식 5로 표현된다: 여기서, ξ는 단계 크기, 는 이미지 xt-1에 대한 클래스 c의 기울기이다. 조정부는 Affine 변환을 적용한 국소화 맵 집합으로 이미지의 다양한 변환(회전, 크기 조정 등)을 통해 각 변환된 이미지에서 CAM을 계산하고, 이를 집합화하여 국소화 맵 A를 생성한다. 여기서, CAMinterp(xt)는 각 변환된 이미지 xt에 대해 계산된 CAM이다. 본 발명의 방법은 정상 데이터를 활용하여 캡슐 내시경 영상에서 비정상 영역을 더욱 정확하게 탐지할 수 있도록 한다. 이를 통해 의료진이 병변을 효과적으로 발견하고, 진단 정확도를 높일 수 있다. 이상에서 본 발명은 도면을 참조하면서 기술되는 바람직한 실시예를 중심으로 설명되었지만 이에 한정되는 것은 아니다. 따라서 본 발명은 기재된 실시예로부터 도출 가능한 자명한 변형예를 포괄하도록 의도된 특허청구범위의 기재에 의해 해석되어져야 한다.