KR-20260060735-A - System for soft tissue prediction and method for thereof

KR20260060735AKR 20260060735 AKR20260060735 AKR 20260060735AKR-20260060735-A

Abstract

적어도 하나의 프로세서에 의해 동작하는 동작하는 연조직 변화 예측 시스템의 동작 방법으로서, 환자의 치료 전 안면 스캔 데이터를 수신하면, 특징점을 검출하도록 학습된 인공지능 모델을 이용하여 치료 전 안면 스캔 데이터에서 특징점들을 검출한다. 특징점들에 대한 변화량을 예측하고, 변화량을 환자가 치료 후 안면 연조직 변화 정도를 나타내는 치료 후 안면 스캔 데이터로 생성한다.

Inventors

이원진
양훈주
유지용
양수
임상헌

Assignees

서울대학교산학협력단
서울대학교치과병원

Dates

Publication Date: 20260506
Application Date: 20241025

Claims (15)

적어도 하나의 프로세서에 의해 동작하는 동작하는 연조직 변화 예측 시스템의 동작 방법으로서, 환자의 치료 전 안면 스캔 데이터를 수신하는 단계, 특징점을 검출하도록 학습된 인공지능 모델을 이용하여, 상기 치료 전 안면 스캔 데이터에서 특징점들을 검출하는 단계, 그리고 상기 특징점들에 대한 변화량을 예측하고, 상기 변화량을 상기 환자가 치료 후 안면 연조직 변화 정도를 나타내는 치료 후 안면 스캔 데이터로 생성하는 단계 를 포함하는, 동작 방법.
제1항에 있어서, 상기 치료 전 안면 스캔 데이터를 수신하는 단계 이전에, 좌표가 매핑되어 있는 복수의 정점들과 각 정점에 대한 법선 벡터로 구성된 3차원의 치료 전 안면 스캔 데이터를 상기 인공지능 모델에 입력하면, 상기 정점들에서 복수의 특징점들을 검출하고, 검출한 특징점들의 변화량을 예측하도록 상기 인공지능 모델을 학습시키는 단계 를 포함하는, 동작 방법.
제2항에 있어서, 상기 학습시키는 단계는, 치료 전 안면 스캔 데이터와 치료 후 안면 스캔 데이터를 각각 포인트 클라우드로 변환하는 단계, 상기 포인트 클라우드의 무게 중심점을 계산하는 단계, 그리고 상기 무게 중심점을 이용하여 상기 포인트 클라우드를 구성하는 상기 복수의 정점들 각각의 좌표계 원점을 조정하는 단계 를 더 포함하는, 동작 방법.
제3항에 있어서, 상기 좌표계 원점을 조정하는 단계 이후에, 원점이 조정된 상기 복수의 정점들 중 상기 무게 중심점을 기준으로 가장 먼 거리에 위치한 정점과 상기 무게 중심점 사이의 거리를 계산하는 단계, 그리고 상기 계산한 거리를 이용하여 상기 포인트 클라우드를 정규화하는 단계, 를 포함하는, 동작 방법.
제4항에 있어서, 상기 포인트 클라우드를 정규화하는 단계는, 상기 거리를 이용하여 상기 포인트 클라우드의 좌표를 나누어, 상기 포인트 클라우드를 스케일링하는, 동작 방법.
제4항에 있어서, 상기 정규화하는 단계 이후에, 상기 정규화 된 치료 전 포인트 클라우드와 치료 후 포인트 클라우드에서 각각 복수의 특징점들을 검출하고, 상기 특징점들에 대한 초기 변화량을 예측하는 단계, 그리고 상기 복수의 특징점들에 대한 최종 변화량을 예측하는 단계 를 포함하는, 동작 방법.
제6항에 있어서, 상기 초기 변화량을 예측하는 단계는, 상기 치료 전 포인트 클라우드에서 검출한 특징점과 상기 치료 후 포인트 클라우드에서 검출한 특징점을 정합하여 두 특징점의 대응 관계를 찾고, 두 특징점 사이의 거리를 계산하여 상기 초기 변화량을 예측하는, 동작 방법.
제6항에 있어서, 상기 최종 변화량을 예측하는 단계는, 상기 초기 변화량으로부터 손실 값을 계산하고, 계산한 손실 값을 상기 초기 변화량에 반영하여 상기 최종 변화량으로 계산하는, 동작 방법.
제6항에 있어서, 상기 최종 변화량을 예측하는 단계 이후에, 상기 최종 변화량에 따른 안면 연조직 변화 정도와 상기 치료 후 안면 스캔 데이터 사이의 평가 지표를 계산하고, 상기 평가 지표가 기 설정한 수치에 해당할 때까지 상기 인공지능 모델의 학습을 반복하는 단계 를 포함하는, 동작 방법.
환자에 대한 안면 스캔 데이터를 수신하는 인터페이스, 메모리, 그리고 상기 메모리에 로드된 프로그램의 명령들(instructions)을 실행하는 적어도 하나의 프로세서를 포함하고, 상기 프로세서는 특징점을 검출하도록 학습된 인공지능 모델을 이용하여, 상기 치료 전 안면 스캔 데이터에서 특징점들을 검출하고, 상기 특징점들에 대한 변화량을 예측한 후, 상기 변화량을 상기 환자가 치료 후 안면 연조직 변화 정도를 나타내는 치료 후 안면 스캔 데이터로 생성하는, 연조직 변화 예측 시스템.
제10항에 있어서, 상기 프로세서는, 치료 전 안면 스캔 데이터와 치료 후 안면 스캔 데이터를 각각 포인트 클라우드로 변환하고, 상기 포인트 클라우드의 무게 중심점을 계산하여 상기 포인트 클라우드를 구성하는 상기 복수의 정점들 각각의 좌표계 원점을 조정하는, 연조직 변화 예측 시스템.
제11항에 있어서, 상기 프로세서는, 원점이 조정된 상기 복수의 정점들 중 상기 무게 중심점을 기준으로 가장 먼 거리에 위치한 정점과 상기 무게 중심점 사이의 거리를 계산하고, 상기 계산한 거리를 이용하여 상기 포인트 클라우드의 좌표를 나누어 정규화하는, 연조직 변화 예측 시스템.
제12항에 있어서, 상기 프로세서는, 상기 치료 전 포인트 클라우드에서 검출한 특징점과 상기 치료 후 포인트 클라우드에서 검출한 특징점을 정합하여 두 특징점의 대응 관계를 찾고, 두 특징점 사이의 거리를 계산하여 상기 초기 변화량을 예측하는, 연조직 변화 예측 시스템.
제13항에 있어서, 상기 프로세서는, 상기 초기 변화량으로부터 손실 값을 계산하고, 계산한 손실 값을 상기 초기 변화량에 반영하여 최종 변화량으로 계산하는, 연조직 변화 예측 시스템.
제14항에 있어서, 상기 프로세서는, 상기 최종 변화량에 따른 안면 연조직 변화 정도와 상기 치료 후 안면 스캔 데이터 사이의 평가 지표를 계산하고, 상기 평가 지표가 기 설정한 수치에 해당할 때까지 상기 인공지능 모델의 학습을 반복하는, 연조직 변화 예측 시스템.

Description

안면 연조직 변화 예측 시스템 및 이의 동작 방법{System for soft tissue prediction and method for thereof} 본 발명은 악교정 수술 전 환자의 3차원 안면 스캔 데이터를 이용하여 악교정 수술 후 환자의 안면 연조직 변화를 예측하는 안면 연조직 변화 예측 시스템 및 이의 동작 방법에 관한 것이다. 교정 치료는 단순히 심미적인 이유 외에도, 부정교합으로 인해 저하된 발음, 저작 기능, 턱관절 기능 등 치아 기능을 개선을 위해 필수적인 치료법이다. 부정교합은 공중구강보건 영역에서 치아우식 및 치주질환과 더불어 주요하게 다뤄지는 중대한 치과 질병이다. 교정 치료는 치아를 이동시키는 것으로 제한되기 때문에, 상악과 하악의 뼈 구조 간의 경미한 부정교합만을 해결할 수 있다. 반면, 악교정 수술은 교정 치료만으로 해결하기 어려운 치아, 잇몸, 턱뼈 등 골격적인 부정교합을 가진 환자에게 적용할 수 있으며, 수술을 통해 뼈의 위치를 재조정함으로써 안면 기능과 미적인 면을 향상시키는 치료 방법이다. 일반적으로 치과 수술을 통해 치아/잇몸/턱뼈 등에 변화가 일어나면, 연조직인 피부, 근육, 지방 등도 함께 변화한다. 이러한 연조직 변화는 환자의 심미적 만족도에 큰 영향을 미칠 수 있기 때문에, 치과 수술 전에는 환자의 안면 연조직 변화를 예측하는 것이 중요하다. 일반적으로 안면 변화를 예측하기 위해 환자의 안면 스캔 데이터가 필요하다. 이를 위해 환자의 안면(연조직)을 광학식 스캐너를 이용하여 형상 스캔하는 안면 스캔 방법을 통해 안면 스캔 데이터를 수집할 수 있다. 안면 스캔 방법은 환자와 접촉없이 환자의 안면을 비침습적으로 스캔하기 때문에, 교정 치료 및 악교정 수술 치료 계획 수립에 주로 활용된다. 교정 및 악교정 치료 계획은 치료의 성공을 좌우하는 중요한 요소이기 때문에, 환자 치아의 배열, 교합, 건강, 안면 연조직 변화 등을 고려하여 최적의 계획을 세우는 것이 중요하다. 그러나 교정 및 악교정 치료 계획은 매우 복잡하고 까다로운 과정이며, 특히 치료 후 및 수술후 안면 연조직 변화를 미리 예측하고, 이를 정량화하여 환자별로 맞춤형 치료 계획을 세우는 데는 어려움이 있다. 따라서, 정확한 교정 및 악교정 수술 치료 계획을 세우기 위해 치료 후/수술 후 안면 연조직 변화를 예측하고, 이를 정량화하는 기술이 필요하다. 또한, 최종 치료/수술 후 안면 연조직 변화량과 안면 연조직이 최종 위치로 변화하기 까지의 변화 과정을 시간순으로 예측하여, 안면 연조직 변화량을 고려한 수술 계획 수립에 도움을 줄 수 있는 기술이 필요하다. 도 1은 본 발명의 실시예에 따른 안면 연조직 변화 예측 시스템이 구현된 환경의 예시도이다. 도 2는 본 발명의 실시예에 따른 연조직 변화 예측 시스템의 구성도이다. 도 3은 본 발명의 실시예에 따른 연조직 변화 예측 시스템의 동작에 대한 흐름도이다. 도 4는 본 발명의 실시예에 따른 인공지능 모델 학습 단계에 대한 흐름도이다. 도 5는 본 발명의 실시예에 따라 획득된 안면 스캔 데이터의 예시도이다. 도 6은 본 발명의 실시예에 따라 예측된 안면 스캔 데이터와 정답 안면 스캔 데이터의 예시도이다. 도 7은 본 발명의 실시예에 따른 연조직 변화 예측 시스템의 하드웨어 구조도이다. 아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 이하, 도면을 참조로 하여 본 발명의 실시예에 따른 안면 연조직 변화 예측 시스템 및 이의 동작 방법에 대해 상세히 설명한다. 도 1은 본 발명의 실시예에 따른 안면 연조직 변화 예측 시스템이 구현된 환경의 예시도이다. 도 1에 도시된 바와 같이, 적어도 하나의 프로세서에 의해 동작하는 인공지능 기반 안면 연조직 변화 예측 시스템(이하, 설명의 편의를 위하여, '연조직 변화 예측 시스템'이라 지칭함)(100)은 인공지능 기반으로, 치료/수술 후 안면 연조직이 어떻게 변화하는지를 시각적으로 표현하여 환자에게 제공할 수 있다. 연조직 변화 예측 시스템(100)에 포함된 인공지능 모델은 적어도 하나의 태스크(task)를 학습할 수 있는 인공지능 모델로서, 컴퓨팅 장치에서 실행되는 소프트웨어 또는 프로그램 형태로 구현될 수 있다. 인공지능 모델의 형태는 다양하므로, 본 발명의 실시예에서는 어느 하나로 한정하지 않는다. 연조직 변화 예측 시스템(100)은 환자의 교정/수술 전 안면 스캔 데이터(이하, 설명의 편의를 위하여 '치료 전 안면 스캔 데이터'라 지칭함)를 입력 받고, 인공지능 모델을 통해 교정/수술 후 안면 연조직 변화량을 계산한다. 그리고 연조직 변화 예측 시스템(100)은 계산한 안면 연조직 변화량에 따라 교정/수술 후 안면 모양(이하, 설명의 편의를 위하여 '치료 후 안면 모양'이라 지칭함)을 디스플레이 한다. 이때, 안면 스캔 데이터는 환자의 안면부를 광학식 스캐너를 이용하여 비침습적으로 스캔하여 획득한 3차원 형상의 데이터이다. 안면 스캔 데이터는 복수의 3차원 정점들 각각의 위치 좌표(x, y, z)와, 각 정점에 대한 법선(vertex) 벡터 정보를 포함하고 있는 것을 예로 하여 설명한다. 여기서, 안면 스캔 데이터는 STL 확장자로 수집될 수 있으며, 본 발명의 실시예에서 언급하지 않은 다양한 정보들이 추가로 포함할 수 있다. 그리고, 안면 스캔 데이터에 포함되어 잇는 각 점들은 행렬로 표현될 수 있다. 연조직 변화 예측 시스템(100)은 안면 스캔 데이터를 미리 설정한 크기로 다운 샘플링하여, 축소된 안면 스캔 데이터를 생성한다. 본 발명의 실시예에서는 안면 스캔 데이터를 4092개의 법선과 8000개의 삼각형 면(faces)들이 포함되도록 크기를 다운 샘플링하는 것을 예로 하여 설명하며, 다운 샘플링 방식이나 안면 스캔 데이터의 크기를 어느 하나의 방법이나 크기로 한정하지 않는다. 연조직 변화 예측 시스템(100)은 축소된 안면 스캔 데이터를 3차원 상의 공간 정보를 가지는 점(Point)들의 집합인 포인트 클라우드(Point Cloud)로 변환한다. 연조직 변화 예측 시스템(100)은 치료 전 안면 스캔 데이터의 포인트 클라우드와, 환자의 교정/수술 후 안면 스캔 데이터(이하, 설명의 편의를 위하여 '치료 후 안면 스캔 데이터'라 지칭함)의 포인트 클라우드의 점 별로 거리 오차를 계산하도록 인공지능 모델을 훈련시킬 수 있다. 이를 위해, 연조직 변화 예측 시스템(100)은 포인트 클라우드로부터 특징점을 검출하도록 인공지능 모델을 추가로 훈련시킬 수 있다. 즉, 연조직 변화 예측 시스템(100)은 치료 전 안면 스캔 데이터와 치료 후 안면 스캔 데이터를 포함하는 훈련 데이터를 이용하여 인공지능 모델을 학습한다. 이때, 치료 전 안면 스캔 데이터에서 획득한 포인트 클라우드와 치료 후 안면 스캔 데이터에서 획득한 포인트 클라우드를 인공지능 모델로 입력하면, 두 포인트 클라우드에서 복수의 특징점들을 검출하고, 검출한 특징점들의 점간 오차를 계산한다. 연조직 변화 예측 시스템(100)은 인공지능 모델을 통해 획득한 포인트 클라우드를 구성하는 점간 거리 오차를 기초로, 치료 전 안면 스캔 데이터가 입력되면 치료 후 안면 스캔 데이터를 제공할 수 있다. 그리고, 연조직 변화 예측 시스템(100)은 치료 후 안면 스캔 데이터를 네트워크를 통해 외부 단말에 제공할 수 있다. 이때, 외부 단말은 스마트 폰, PC 등일 수 있으나 반드시 이에 제한되지는 않으며, 스캔 데이터에 따른 치료 후 안면 모양을 디스플레이할 수 있는 임의의 장치일 수 있다. 도 2는 본 발명의 실시예에 따른 연조직 변화 예측 시스템의 구성도이다. 도 2에 도시된 바와 같이, 연조직 변화 예측 시스템(100)은 포인트 클라우드 변환부(110)와 연조직 변화 예측부(120)를 포함할 수 있다. 포인트 클라우드 변환부(110)는 환자의 치료 전 안면 스캔 데이터를 입력 받고, 포인트 클라우드로 변환할 수 있다. 이때, 포인트 클라우드 변환부(110)는 안면 스캔 데이터에 대해 정규화(Normalization), 노이즈 제거(Noise Reduction) 등과 같은 전처리를 수행할 수 있다. 이외에도, 포인트 클라우드 변환부(110)는 알려진 방법을 이용하여 안면 스캔 데이터에 전처리를 수행할 수 있다. 즉, 포인트 클라우드 변환부(110)는 포인트 클라우드 pi=(xi, yi, zi)의 무게 중심 C를 계산하는데, 다음 수학식 1로 포인트 클라우드의 무게 중심점을 계산할 수 있다. 여기서, n은 포인트 클라우드를 구성하는 점들의 수를 의미한다. 포인트 클라우드 변환부(110)는 치료 전 포인트 클라우드와 치료 후 포인트 클라우드의 비교를 위해, 포인트 클라우드의 좌표계 원점을 0으로 맞춘다. 이를 위해, 포인트 클라우드 변환부(110)는 포인트 클라우드에 포함된 각 점의 좌표에서 무게 중심점 C를 빼, 좌표계 원점이 조정된 점들로 구성된 포인트 클라우드를 생성한다. 이는 다음 수학식 2와 같이 표현할 수 있다. 포인트 클라우드 변환부(110)는 좌표계 원점이 조정된 포인트 클라우드를 정규화하기 위해, 무게 중심점에서 가장 먼 점과 무게 중심점 사이의 거리 dmax(이하, 설명의 편의를 위하여, '기준 거리'라 지칭함)를 계산한다. 그리고, 포인트 클라우드 변환부(110)는 계산한 기준 거리를 이용하여 포인트 클라우드 좌표를 수학식 3과 같이 나누어, 정규화 된 포인트 클라우드()를 생성한다. 이러한 절차를 통해, 포인트 클라우드 변환부(110)는 안면 스캔 데이터를 변환하여 생성한 포인트 클라우드를 [-1, 1]로 스케일링하여 정규화 된 포인트 클라우드()로 생성한다