KR-102960640-B1 - 애완동물 방사선 촬영 이미지를 평가하기 위한 시스템 및 방법

KR102960640B1KR 102960640 B1KR102960640 B1KR 102960640B1KR-102960640-B1

Abstract

일 실시예에서, 본 개시는 컴퓨터 구현 방법을 제공하는데, 이 방법은, 각각이 라벨 세트와 연관된 제1 복수의 이미지를 포함하는 제1 라벨링된 훈련 데이터 세트를 수신하는 단계와, 제1 라벨링된 훈련 데이터 세트에 대해 머신 러닝 신경 티처 모델을 프로그래밍적으로 훈련시키는 단계와, NLP를 위해 훈련된 머신 러닝 모델을 제2 복수의 이미지의 자연어 텍스트 서머리의 디지털 전자 표현을 포함하는 라벨링 되지 않은 데이터 세트에 적용하여, 제2 복수의 이미지를 포함하는 제2 라벨링된 훈련 데이터 세트를 생성하는 단계와, 머신 러닝 신경 티처 모델을 사용하여, 소프트 의사 라벨의 세트를 생성하는 단계와, 소프트 의사 라벨을 사용하여 도출된 라벨을 프로그래밍적으로 생성하는 단계와, 도출된 라벨을 사용하여 하나 이상의 프로그래밍된 머신 러닝 신경 스튜던트 모델을 훈련시키는 단계와, 대상 이미지를 수신하는 단계와, 스튜던트 모델 중 하나 이상의 앙상블을 적용하여 대상 이미지의 하나 이상의 분류를 출력하는 단계를 포함한다.

Inventors

파킨슨 마크 저스틴
피츠케 미카엘
스태크 조셉 콘래드
도어슨 안드레

Assignees

마아즈, 인코오포레이티드

Dates

Publication Date: 20260506
Application Date: 20211215
Priority Date: 20201215

Claims (20)

컴퓨팅 시스템에 의해 수행되는 컴퓨터 구현 방법으로서, 제1 복수의 디지털 저장된 이미지를 포함하는 제1 라벨링된 훈련 데이터 세트를 수신하는 단계- 상기 제1 복수의 이미지의 각 이미지는 라벨 세트와 연관됨 -와, 상기 제1 라벨링된 훈련 데이터 세트에 대해 머신 러닝 신경 티처 모델(machine learning neural Teacher model)을 훈련시키는 단계와, 자연어 처리를 위해 훈련된 머신 러닝 모델을 제2 복수의 이미지의 자연어 텍스트 서머리의 디지털 전자 표현을 포함하는 라벨링되지 않은 데이터 세트에 적용하여, 상기 제2 복수의 이미지를 포함하는 제2 라벨링된 훈련 데이터 세트를 생성하는 단계와, 상기 머신 러닝 신경 티처 모델을 사용하여, 상기 제2 복수의 이미지의 각 이미지에 대해, 소프트 의사 라벨의 대응하는 세트(corresponding set of soft pseudo labels)를 생성하는 단계와, 상기 소프트 의사 라벨을 사용하여 상기 제2 라벨링된 훈련 데이터 세트의 각 이미지에 대해 도출된 라벨의 세트(a set of derived labels)를 생성하는 단계와, 상기 도출된 라벨을 사용하여 하나 이상의 프로그래밍된 머신 러닝 신경 스튜던트 모델을 훈련시키는 단계와, 대상 이미지를 수신하는 단계와, 상기 스튜던트 모델 중 하나 이상의 앙상블을 적용하여 상기 대상 이미지의 하나 이상의 분류를 출력하는 단계를 포함하는, 컴퓨터 구현 방법.
제1항에 있어서, 능동 학습을 사용하여 상기 하나 이상의 프로그래밍된 머신 러닝 신경 스튜던트 모델 중 적어도 하나를 프로그래밍적으로 업데이트하는 단계를 더 포함하는, 컴퓨터 구현 방법.
제1항에 있어서, 하나 이상의 머신 러닝 모델 훈련 단계에서 노이즈를 적용하는 단계를 더 포함하는, 컴퓨터 구현 방법.
제1항에 있어서, 상기 대상 이미지는 동물 또는 애완동물의 방사선 촬영 이미지인, 컴퓨터 구현 방법.
제1항에 있어서, 상기 제1 복수의 이미지의 각 이미지 및 상기 제2 복수의 이미지의 각 이미지는 동물 또는 애완동물의 방사선 촬영 이미지인, 컴퓨터 구현 방법.
제1항에 있어서, 상기 자연어 텍스트 서머리는 방사선학 보고서인, 컴퓨터 구현 방법.
제1항에 있어서, 상기 대상 이미지는 의료용 디지털 이미징 및 통신("DICOM") 이미지로 포맷되는, 컴퓨터 구현 방법.
제1항에 있어서, 도커 컨테이너(docker containers)를 사용하여 배치된 마이크로 서비스를 포함하는 인프라 파이프라인(infrastructure pipeline)을 사용하는 단계를 더 포함하는, 컴퓨터 구현 방법.
제1항에 있어서, 상기 머신 러닝 신경 스튜던트 모델 또는 상기 머신 러닝 신경 티처 모델 중 적어도 하나는 DenseNet-121, ResNet-152, ShuffleNet2, ResNext101, GhostNet, EfficientNet-b5, SeNet-154, Se-ResNext-101, 또는 Inception-v4 중 적어도 하나를 포함하는 아키텍처를 포함하도록 프로그래밍되는, 컴퓨터 구현 방법.
제1항에 있어서, 상기 머신 러닝 신경 스튜던트 모델 또는 상기 머신 러닝 신경 티처 모델 중 적어도 하나는 컨볼루션 신경망으로 프로그래밍되는, 컴퓨터 구현 방법.
제1항에 있어서, 상기 대상 이미지의 상기 하나 이상의 분류 중 하나는 건강한 조직 또는 비정상 조직 중 하나를 나타내는, 컴퓨터 구현 방법.
제11항에 있어서, 상기 대상 이미지의 상기 하나 이상의 분류 중 하나는 비정상 조직을 나타내고, 상기 비정상 조직은 심혈관, 폐 구조, 종격동 구조, 흉막 공간 또는 외흉부(extra thoracic) 중 적어도 하나로 더 분류되는, 컴퓨터 구현 방법.
제1항에 있어서, 상기 대상 이미지의 상기 하나 이상의 분류 중 적어도 하나는 하위 분류인, 컴퓨터 구현 방법.
제1항에 있어서, 상기 대상 이미지를 전처리하는 단계를 더 포함하되, 상기 전처리하는 단계는 상기 대상 이미지의 상기 하나 이상의 분류를 출력하기 전에, 훈련된 머신 러닝 필터 모델을 상기 대상 이미지에 적용하는 것을 더 포함하는, 컴퓨터 구현 방법.
제1항에 있어서, 상기 대상 이미지의 상기 하나 이상의 분류를 출력하기 전에 상기 대상 이미지의 정확한 해부학적 배향을 프로그래밍적으로 결정하는 단계를 더 포함하는, 컴퓨터 구현 방법.
제15항에 있어서, 상기 대상 이미지의 정확한 해부학적 배향을 결정하는 단계는, 상기 대상 이미지와 연관된 DICOM 메타데이터 또는 상기 대상 이미지와 연관된 편측성 마커(laterality marker)에 의존하지 않고 작동하도록 프로그램된 훈련된 머신 러닝 모델을 실행하는 것을 포함하는, 컴퓨터 구현 방법.
제16항에 있어서, 상기 훈련된 머신 러닝 모델은 증강 데이터 및 실제 데이터로 공동으로 훈련된, 컴퓨터 구현 방법.
제15항에 있어서, 상기 대상 이미지의 정확한 해부학적 배향을 결정하는 단계는, 제1 프로그래밍된 모델을 실행하여 상기 대상 이미지의 정확한 회전을 결정하는 것 및 제2 프로그래밍된 모델을 실행하여 상기 대상 이미지의 정확한 뒤집기를 결정하는 것을 포함하는, 컴퓨터 구현 방법.
제15항에 있어서, 상기 대상 이미지의 정확한 해부학적 배향을 결정한 후 그리고 상기 대상 이미지의 상기 하나 이상의 분류를 출력하기 전에, 상기 대상 이미지가 올바른 신체 부위에 대응하는 것으로 프로그래밍적으로 검증하는 단계를 더 포함하는, 컴퓨터 구현 방법.
제19항에 있어서, 상기 대상 이미지가 올바른 신체 부위에 대응하는 것으로 검증하는 단계는 훈련된 머신 러닝 모델을 실행하는 것을 포함하는, 컴퓨터 구현 방법.

Description

애완동물 방사선 촬영 이미지를 평가하기 위한 시스템 및 방법 본 출원은 2021년 11월 1일에 제출된 가출원 63/274,482, 2021년 6월 28일에 제출된 가출원 63/215,769, 2020년 12월 15일에 제출된 가출원 63/125,912를 35 U.S.C. § 119에 따라 우선권으로 주장하며, 그 전체 내용은 본 명세서에 완전히 설명된 것처럼 모든 목적을 위해 본 명세서에 참조로 포함된다. 본 개시는 일반적으로 애완동물 또는 동물의 방사선 촬영 이미지를 평가하기 위한 하나 이상의 머신 러닝 모델 또는 툴의 사용과 관련된다. 동물 또는 애완동물의 건강 문제를 진단하거나 식별하기 위해 엑스레이와 같은 이미지 기반 진단 기술을 활용하는 수의사의 수가 증가하고 있다. 그러나, 전 세계적으로 수의학 교육을 받은 방사선 전문의의 수는 1,100명 미만이다. 따라서 많은 수의사가 이미지 기반 진단 기술이 제공하는 이점을 활용하지 못하고 있다. 영상의학 교육을 받은 수의사라 하더라도, 의료 이미지를 검토하는 데 많은 시간이 소요되고 번거로울 수 있다. 이러한 어려움을 가중시키는 것으로서, 동물 또는 애완동물 방사선 촬영 이미지의 방향이 잘못되거나 편측성 마커가 누락되거나 부정확할 수 있다는 것이 있다. 따라서, 진단용 애완동물 이미지의 처리 및 해석을 자동화하고 방사선학 교육을 받은 수의사 또는 방사선학 교육을 받지 않은 수의사에게 임상적으로 신뢰할 수 있는 결과를 제공할 수 있는 시스템에 대한 필요성이 존재한다. 관련 배경기술의 일 예로는 독일 특허출원공보 제102010030769호(공개일자 2012.01.05)가 있다. 특정 비제한적인 실시예에서, 본 개시는 동물 또는 애완동물의 방사선 디지털 이미지를 처리, 해석 및/또는 분석하기 위해 머신 러닝 모델을 훈련하고 사용하기 위한 시스템 및 방법을 제공한다. 이미지는 의료 상태의 진단에 사용되는 임의의 디지털 이미지 저장 포맷(예컨대, 의료용 디지털 영상 및 통신("DICOM")) 및 이미지를 디스플레이하는 데 사용되는 다른 포맷을 가질 수 있다. 특정 실시예에서, 방사선 촬영 이미지는 자동화된 자연어 처리("NLP") 툴을 사용하여 라벨링될 수 있다. 즉, 컴퓨터로 구현된 한 가지 방법에서, NLP 툴은 방사선 촬영 이미지의 자연어 텍스트 서머리의 표현을 입력으로 받아들이고 방사선 촬영 이미지를 특징짓는 이미지 라벨 또는 태그를 출력한다. 일 실시예에서, 방사선 촬영 이미지의 자연어 텍스트 서머리는 방사선학 보고서이다. 일 실시예에서, 방사선 촬영 이미지 및 상응하는 NLP 생성 태그는 동물 또는 애완동물 방사선 촬영 이미지를 분류하도록 구성 또는 프로그래밍된 하나 이상의 머신 러닝 분류기 모델을 훈련하기 위한 훈련 데이터로 사용될 수 있다. 다른 제한되지 않는 실시예에서, 수의 방사선학 전문가는 다양한 이미지를 수동으로 라벨링할 수 있다. 특정 실시예에서, 하나 이상의 머신 러닝 분류기 모델은 수의 방사선학 전문가 또는 다른 유형의 인간 영역 특정 전문가에 의해 태그가 지정된 의료 이미지와 같이 수동으로 라벨링된 훈련 데이터로 훈련될 수 있다. 본 명세서에서 더 설명되는 바와 같이, 일부 실시예에서 구현된 머신 러닝 모델은 NLP 생성 라벨링된 훈련 데이터 및 인간 생성 라벨링된 이미지 훈련 데이터의 혼합물을 효과적으로 사용할 수 있다. 일 실시예에서, 본 개시는 동물 또는 애완동물 방사선 촬영 이미지의 자동 분류를 위한 시스템 및 방법을 제공한다. 다양한 실시예에서, 캡처, 수집 및/또는 수신된 이미지(들)의 분석 및/또는 분류는 하나 이상의 머신 러닝 모델 또는 툴을 사용하여 수행될 수 있다. 일부 실시예에서, 머신 러닝 모델은 컨볼루션 신경망("CNN")일 수 있는 신경망을 포함할 수 있다. 머신 러닝 모델은 다양한 태그, 라벨 또는 분류를 사용하여 이미지를 분류하는 데 사용될 수 있다. 예를 들어, 이러한 분류는 건강한 조직 또는 비정상적인 조직의 존재를 나타낼 수 있다. 일 실시예에서, 이상이 있는 것으로 분류된 이미지는 예를 들어 심혈관, 폐 구조, 종격동 구조, 흉막 공간 및/또는 외흉부 등으로 더 분류될 수 있다. 본 개시에서, 이러한 분류 내의 분류는 하위 분류로 지칭될 수 있다. 일 실시예에서, 본 개시는 애완동물 방사선 촬영 이미지를 분류하기 위해 프로그래밍된 머신 러닝 모델(본 명세서에서 일부 경우 "RapidReadNet"으로 지칭됨)을 훈련시키고 사용하는 기술을 제공하며, 여기서 RapidReadNet은 본원에서 보다 구체적으로 설명되는 바와 같이 개별적이고 보정된 심층 신경망 스튜던트 모델들의 앙상블일 수 있다. 본 개시에서 RapidReadNet라는 용어 및 이와 유사한 다른 용어 또는 라벨은 본 개시에서 간결한 설명을 용이하게 하기 위한 편의 및 간결성만을 위해 사용되며, 다른 실시예는 RapidReadNet이라는 용어를 사용하지 않고 기능적으로 동등한 툴, 시스템 또는 방법을 구현할 수 있다. 일 실시예에서, 머신 러닝 신경 티처 모델은 먼저 제1 인간 라벨 이미지 훈련 데이터 세트를 사용하여 훈련될 수 있다. 그런 다음 자연어 텍스트 서머리과 연관된 의료 이미지를 포함하는 더 큰 라벨링되지 않은 이미지 훈련 데이터 세트를 라벨링하는 데 NLP 모델을 사용할 수 있다. 예를 들어, 데이터 세트는 방사선학 보고서룰 포함할 수 있다. 그런 다음, 티처 모델을 사용하여 더 큰 이미지 데이터 세트에 대해 소프트 의사 라벨(soft pseudo labels)을 생성할 수 있다. 마지막으로, 소프트 의사 라벨을 NLP 도출 라벨과 함께 사용하여 더 많은 도출 라벨을 생성하고 이러한 도출 라벨을 사용하여 하나 이상의 머신 러닝 신경망 스튜던트 모델을 훈련시킬 수 있다. 일 실시예에서, RapidReadNet은 상기 스튜던트 모델들의 앙상블을 포함할 수 있다. 일 실시예에서, 본 개시는 DICOM 메타데이터 또는 편측성 마커에 의존하지 않고 수의학 방사선 사진에서 정확한 해부학적 배향을 자동적으로 결정하기 위한 시스템 및 방법을 제공한다. 개시된 하나의 방법은 2개의 하위 모델("RotationNet" 및 "FlipNet")을 포함하는 훈련된 머신 러닝 모델("AdjustNet")을 사용하는 것을 포함할 수 있다. 일부 실시예에서, "RotationNet" 및 "FlipNet"의 각각은 복수의 CNN의 앙상블로 프로그래밍될 수 있다. 일 실시예에서, RotationNet 모델은 동물 또는 애완동물 방사선 촬영 이미지와 같은 이미지가 올바르게 회전되었는지 여부를 결정하는 데 사용될 수 있다. 일 실시예에서, FlipNet 모델은 동물 또는 애완동물 방사선 촬영 이미지와 같은 이미지가 뒤집혀야 하는지 여부를 결정하는 데 사용될 수 있다. 일 실시예에서, AdjustNet 및/또는 RotationNet 및/또는 FlipNet은 보고된 최첨단 시스템에 비해 수많은 기술적 이점을 갖는 동물 또는 애완동물 방사선 촬영 이미지의 분류를 위한 엔드투엔드 시스템 또는 파이프라인에 통합될 수 있다. AdjustNet, RotationNet 및 FlipNet이라는 용어 및 본 개시에서 이와 유사한 다른 용어 또는 라벨은 간결한 설명을 용이하게 하기 위한 편의성 및 간결성만을 위해 본 개시에서 사용되며, 다른 실시예들은 AdjustNet, RotationNet 또는 FlipNet이라는 용어를 사용하지 않고 기능적으로 동등한 툴, 시스템 또는 방법을 구현할 수 있다. 다양한 실시예에서, RotationNet 및 FlipNet의 각각은 여러 가지 방법 중 임의의 방식으로 프로그래밍 및/또는 훈련될 수 있다. 예를 들어, 각 모델은 단일 모델 또는 2단계 모델일 수 있다. 비제한적인 실시예에서, 여러 가지 다른 가중치 초기화 기법을 사용하여 모델을 개발할 수 있다. 예를 들어, 전이 학습 접근법이 (예를 들어, ImageNet 상에서) 사전 훈련된 모델 가중치를 사용하여 수행되거나, 모델이 무작위로 초기화되고 그런 다음 증강 데이터에 대해 추가로 사전 훈련될 수 있다. 비제한적인 실시예에서, 하나 이상의 다른 훈련 파이프라인을 모델 개발에 사용할 수도 있다. 예를 들어, RotationNet 및 FlipNet의 각각은 증강 데이터로 사전 훈련되고 그런 다음 실제 데이터로 미세 조정될 수 있다. 다른 실시예에서는 모델 중 하나 또는 두 모델을 증강 데이터와 실제 데이터로 공동으로 훈련할 수 있다. 일 실시예에서, 본 개시는 동물 또는 애완동물 방사선 촬영 이미지의 분류를 위한 엔드투엔드 시스템 또는 파이프라인을 제공한다. 여기서, "엔드투엔드"는 시스템 또는 파이프라인이 디지털 이미지 데이터를 입력으로 수신하고 분류 데이터 또는 라벨을 출력하도록 구성된다는 것을 의미할 수 있다. 본 명세서에서 보다 구체적으로 설명하는 바와 같이, 이 엔드투엔드 시스템 또는 파이프라인은 대상 이미지의 정확한 해부학적 배향을 결정하기 위해 AdjustNet을 사용하고, 상기 대상 이미지를 분류하기 위해 RapidReadNet을 사용하는 것을 포함할 수 있다. 일 실시예에서, 다른 훈련된 모델은 (AdjustNet을 사용하여) 대상 이미지의 정확한 해부학적 배향을 결정한 후 및 (RapidReadNet을 사용하여) 대상 이미지의 하나 이상의 분류를 출력하기 전에 대상 이미지가 올바른 신체 부위에 해당하는지 검증하는 데 사용될 수 있다. 일 실시예에서, 인프라 파이프라인(infrastructure pipeline)은, 소프트웨어 컨테이너를 사용하여, 즉 도커사(Docker, Inc.)의 DOCKER 또는 구글사(Google, LLC)의 KUBERNETES와 같은 라이브러리를 사용하여 배치될 수 있고, 또한 표현 상태 전송(Representational State Transfer)을 사용하는 애플리케이션 프로그래밍 인터페이스(ReSTful API)를 사용하여 호출가능한 마이크로 서비스에 의존할 수 있다. 일 실시예에서, AI 오케스트레이터 컨테이너는 AdjustNet 및 RapidReadNet 모델과 같은 서로 다른 AI 모듈로부터의 추론 실행을 조정하도록 프로그래밍될 수 있다. 본 개시는 본