Search

KR-20260061747-A - METHOD AND DEVICE FOR ANALYZING EYE IMAGE

KR20260061747AKR 20260061747 AKR20260061747 AKR 20260061747AKR-20260061747-A

Abstract

본 발명의 일 실시예에 따른 눈 이미지 분석 방법은 대상자의 얼굴이 포함된 이미지인 얼굴이미지를 입력받는 단계; 눈 영역을 인식하는 뉴럴 네트워크를 이용하여, 상기 얼굴이미지로부터 양쪽 눈 영역에 대응되는 이미지인 좌안이미지 및 우안이미지를 생성하는 단계; 눈 영역을 분석하는 뉴럴 네트워크를 이용하여, 상기 좌안이미지 및 상기 우안이미지를 분석하여 눈 영역에 대한 세그멘테이션을 수행하는 단계; 상기 좌안이미지, 상기 우안이미지 및 상기 세그멘테이션 결과에 기반하여, 상기 얼굴이미지에 포함된 복수의 랜드마크를 탐지하는 단계; 및 상기 복수의 랜드마크를 이용하여, 상기 얼굴이미지의 눈 영역을 분석한 결과를 생성하는 단계를 포함한다.

Inventors

  • 조경민
  • 박정진
  • 김성현
  • 임경훈
  • 서명균
  • 김민주
  • 서창욱

Assignees

  • 주식회사 애니그마테크놀로지스

Dates

Publication Date
20260506
Application Date
20241028

Claims (10)

  1. 대상자의 얼굴이 포함된 이미지인 얼굴이미지를 입력받는 단계; 눈 영역을 인식하는 뉴럴 네트워크를 이용하여, 상기 얼굴이미지로부터 양쪽 눈 영역에 대응되는 이미지인 좌안이미지 및 우안이미지를 생성하는 단계; 눈 영역을 분석하는 뉴럴 네트워크를 이용하여, 상기 좌안이미지 및 상기 우안이미지를 분석하여 눈 영역에 대한 세그멘테이션을 수행하는 단계; 상기 좌안이미지, 상기 우안이미지 및 상기 세그멘테이션 결과에 기반하여, 상기 얼굴이미지에 포함된 복수의 랜드마크를 탐지하는 단계; 및 상기 복수의 랜드마크를 이용하여, 상기 얼굴이미지의 눈 영역을 분석한 결과를 생성하는 단계 를 포함하는 것을 특징으로 하는 눈 이미지 분석 방법.
  2. 제1항에 있어서, 상기 얼굴이미지를 입력받는 단계와 상기 우안이미지를 생성하는 단계의 사이에, 상기 얼굴이미지를 전처리하는 단계 를 더 포함하는 것을 특징으로 하는 눈 이미지 분석 방법.
  3. 제1항에 있어서, 상기 복수의 랜드마크는 동공(pupil), 내안각(medial canthus), 외안각(lateral canthus), 아래눈꺼풀경계(lower eye lid margin), 위눈꺼풀경계(upper eye lid margin), 쌍꺼풀(upper eye lid crease)를 포함하는 것을 특징으로 하는 눈 이미지 분석 방법.
  4. 제1항에 있어서, 상기 얼굴이미지의 눈 영역을 분석한 결과는 IPD(Interpupillary distance), ICD(intercanthal distance), MRD(marginal reflex distance), PFH(palpebral fissure height), DH(Dermatochalasis height), PFW(palpebral fissure width), HL(horizontal length), VL(vertical length), PMC(pupil-medial canthus distance), HIH(HL:ICD:HL ratio), EH(eyebrow height), ES(eye slant), CER(corneal exposure ration), UIC(upper iris coverage), LIC(lower iris coverage), MWR(medial white ratio) 및 LWR(lateral white ratio) 중 적어도 하나를 포함하는 것을 특징으로 하는 눈 이미지 분석 방법.
  5. 제1항에 있어서, 상기 좌안이미지 및 상기 우안이미지는 좌측 홍채 및 우측 홍채 각각을 중심으로 상기 얼굴이미지로부터 생성되는 것을 특징으로 하는 눈 이미지 분석 방법.
  6. 대상자의 얼굴이 포함된 이미지인 얼굴이미지를 입력받는 입력부; 눈 영역을 인식하는 뉴럴 네트워크를 이용하여, 상기 얼굴이미지로부터 양쪽 눈 영역에 대응되는 이미지인 좌안이미지 및 우안이미지를 생성하는 생성부; 눈 영역을 분석하는 뉴럴 네트워크를 이용하여, 상기 좌안이미지 및 상기 우안이미지를 분석하여 눈 영역에 대한 세그멘테이션을 수행하는 세그멘테이션부; 상기 좌안이미지, 상기 우안이미지 및 상기 세그멘테이션 결과에 기반하여, 상기 얼굴이미지에 포함된 복수의 랜드마크를 탐지하는 탐지부; 및 상기 복수의 랜드마크를 이용하여, 상기 얼굴이미지의 눈 영역을 분석한 결과를 생성하는 분석부 를 포함하는 것을 특징으로 하는 눈 이미지 분석 장치.
  7. 제6항에 있어서, 상기 얼굴이미지를 전처리하는 전처리부 를 더 포함하는 것을 특징으로 하는 눈 이미지 분석 장치.
  8. 제6항에 있어서, 상기 복수의 랜드마크는 동공(pupil), 내안각(medial canthus), 외안각(lateral canthus), 아래눈꺼풀경계(lower eye lid margin), 위눈꺼풀경계(upper eye lid margin), 쌍꺼풀(upper eye lid crease)를 포함하는 것을 특징으로 하는 눈 이미지 분석 장치.
  9. 제6항에 있어서, 상기 얼굴이미지의 눈 영역을 분석한 결과는 IPD, ICD, MRD, PFH, DH, PFW, HL, VL, PMC, HIH, EH, ES, CER, UIC, LIC, MWR 및 LWR 중 적어도 하나를 포함하는 것을 특징으로 하는 눈 이미지 분석 방법.
  10. 제6항에 있어서, 상기 좌안이미지 및 상기 우안이미지는 좌측 홍채 및 우측 홍채 각각을 중심으로 상기 얼굴이미지로부터 생성되는 것을 특징으로 하는 눈 이미지 분석 장치.

Description

눈 이미지 분석 방법 및 장치{METHOD AND DEVICE FOR ANALYZING EYE IMAGE} 본 발명은 사람의 눈 영역에 대한 이미지를 분석하는 방법 및 장치에 관한 것이다. 소득수준이 향상되고, 미용에 관한 관심이 증대되면서 성형수술에 대한 일반대중의 관심이 높아지고 있다. 또한, 대한미용성형외과학회(KSAPS)가 발표한 통계자료에 따르면 국내 성형수술 중에서 가장 많이 시행되는 수술 부위는 눈이다. 하지만, 기존에는 정확성이 높지 않은 방법(예, 사람에 의한 측정 등)을 이용하여 눈 영역에 대한 분석을 수행하여 정보를 획득하고, 그 분석 정보에 기반하여 성형수술을 진행하는 경우가 많이 있었다. 그로 인해, 성형수술의 정확도에 영향을 받을 수밖에 없었으며, 성형수술의 만족도를 높이지 못하는 원인이 되기도 하였다. 따라서, 컴퓨터 비전 기술을 이용하여 눈 영역에 대한 이미지를 보다 정확하게 분석하여 정보를 제공하는 방법 및 장치에 대한 필요성이 높아지고 있다. 도 1은 본 발명의 일 실시예에 따른 눈 이미지 분석 방법의 흐름도이다. 도 2는 본 발명의 일 실시예에 따른 눈 이미지 분석 장치의 블록도이다. 도 3은 본 발명의 일 실시예에 따른 세그멘테이션을 설명하기 위한 도면이다. 도 4는 본 발명의 일 실시예에 따른 랜드마크를 설명하기 위한 도면이다. 도 5는 본 발명의 일 실시예에 따른 눈썹높이를 설명하기 위한 도면이다. 도 6은 본 발명의 일 실시예에 따른 수직길이 및 수평길이를 설명하기 위한 도면이다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면을 참조하여 상세하게 설명하도록 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재 항목들의 조합 또는 복수의 관련된 기재 항목들 중의 어느 항목을 포함한다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급될 때에는 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다. 이하, 첨부된 도면을 참조하여 본 발명에 대해 설명한다. 도 1은 본 발명의 일 실시예에 따른 눈 이미지 분석 방법의 흐름도이다. 단계 S110에서는, 눈 이미지 분석 장치가 대상자의 얼굴이 포함된 이미지인 얼굴이미지를 입력받는다. 여기서, 눈 이미지 분석 장치는 직접 연결된 카메라 장치를 이용하여 대상자의 얼굴을 촬영하고, 그 촬영된 얼굴이미지를 입력받을 수 있다. 또한, 눈 이미지 분석 장치는 네트워크를 통해 외부 디바이스로부터 얼굴이미지를 전송받음으로써 입력받을 수 있다. 또한, 눈 이미지 분석 장치는 메모리장치(예, USB메모리 등)와 연결되어, 그 메모리장치로부터 얼굴이미지를 획득할 수 있다. 단계 S120에서는, 눈 이미지 분석 장치가 눈 영역을 인식하는 뉴럴 네트워크를 이용하여, 그 얼굴이미지로부터 양쪽 눈 영역에 대응되는 이미지인 좌안이미지 및 우안이미지를 생성한다. 이때, 눈 영역을 인식하는 뉴럴 네트워크는 그 얼굴이미지에서 홍채의 영역을 인식할 수 있다. 그 결과, 눈 이미지 분석 장치는 그 얼굴이미지에서 좌안의 홍채와 우안의 홍채를 인식할 수 있게 된다. 그리고, 눈 이미지 분석 장치는 그 인식된 홍채에 기반하여 좌안이미지 및 우안이미지를 생성할 수 있다. 다른 실시예에서는, 그 좌안이미지 및 우안이미지는 좌측 홍채 및 우측 홍채 각각을 중심으로 얼굴이미지로부터 생성될 수 있다. 즉, 눈 이미지 분석 장치는 다음과 같은 과정에 의해 그 얼굴이미지에서 좌측 홍채 및 우측 홍채를 중심으로 좌안이미지 및 우안이미지를 생성할 수 있다. 이때, 편의를 위해 좌측 홍채를 중심으로 좌안이미지를 생성하는 과정을 설명한다. 우선, 눈 이미지 분석 장치는 눈 영역을 인식하는 뉴럴 네트워크를 이용하여 홍채의 영역을 인식한다. [수학식 1] 여기서, Rleft, Rright 각각은 좌측 홍채 영역 및 우측 홍채 영역이고, feye는 뉴럴 네트워크이고, I는 얼굴이미지이다. 그리고, 눈 이미지 분석 장치는 수학식 2를 이용하여 좌측 홍채의 중앙 위치를 계산한다. [수학식 2] 여기서, xleft, yleft는 좌측 홍채의 중앙 위치이고, Nleft는 좌측 홍채 영역의 전체 포인트 수이고, xi, yi는 좌측 홍채 영역의 i번째 포인트의 x, y 좌표이다. 또한, 눈 이미지 분석 장치는 수학식 3 및 4를 이용하여 좌측 홍채의 x, y 위치 표준편차를 계산한다. [수학식 3] 여기서, 는 좌측 홍채의 x위치 표준 편차이다. [수학식 4] 여기서, 는 좌측 홍채의 y위치 표준 편차이다. 또한, 눈 이미지 분석 장치는 수학식 5를 이용하여 좌안이미지의 영역 너비를 산출한다. 즉, 눈 이미지 분석 장치는 x위치 표준 편차와 y위치 표준 편차 중 큰 값에 계수를 곱하여, 너비를 산출한다. [수학식 5] 여기서, 는 좌안이미지의 영역 너비이고, k는 계수이다. 최종적으로, 눈 이미지 분석 장치는 수학식 6을 이용하여 좌안이미지를 얼굴이미지로부터 생성할 수 있다. [수학식 6] 여기서, 는 좌안이미지이다. 단계 S130에서는, 눈 이미지 분석 장치가 눈 영역을 분석하는 뉴럴 네트워크를 이용하여, 그 좌안이미지 및 우안이미지를 분석하여 눈 영역에 대한 세그멘테이션을 수행한다. 여기서, 세그멘테이션은 이미지에 나타난 픽셀을 인식가능한 영역 또는 객체 별로 나누어 표시한 것을 말한다. 예컨대, 도 3을 참조하면, 눈 이미지 분석 장치는 사람의 눈 영역이 나타난 이미지를 세그멘테이션하여, 홍채, 동공, 누호, 흰자, 쌍꺼풀, 눈썹의 영역을 검출할 수 있다. 한편, 눈 영역을 분석하는 뉴럴 네트워크는 CNN(Convolutional Neural Network)에 기반하는 신경망일 수 있으나, 이에 한정되지 않으며 언급되지 않은 다양한 종류의 신경망이 될 수 있다. 단계 S140에서는, 눈 이미지 분석 장치가 그 좌안이미지, 우안이미지 및 세그멘테이션 결과에 기반하여, 얼굴이미지에 포함된 복수의 랜드마크를 탐지한다. 즉, 눈 이미지 분석 장치는 좌안이미지에서의 세그멘테이션 결과를 이용하여 좌안이미지에 대한 복수의 랜드마크를 탐지할 수 있고, 우안이미지에서의 세그멘테이션 결과를 이용하여 우안이미지에 대한 복수의 랜드마크를 탐지할 수 있다. 이때, 랜드마크는 사람의 눈 영역에 존재하는 주요 특징점을 의미할 수 있다. 다른 실시예에서는, 복수의 랜드마크는 동공(pupil), 내안각(medial canthus), 외안각(lateral canthus), 아래눈꺼풀경계(lower eye lid margin), 위눈꺼풀경계(upper eye lid margin), 쌍꺼풀(upper eye lid crease)를 포함할 수 있다. 예컨대, 도 4를 참조하면, 눈 이미지 분석 장치는 그 좌안이미지, 우안이미지 및 세그멘테이션 결과를 이용하여, 동공(pupil), 내안각(medial canthus), 외안각(lateral canthus), 아래눈꺼풀경계(lower eye lid margin), 위눈꺼풀경계(upper eye lid margin), 쌍꺼풀(upper eye lid crease) 등과 같은 복수의 랜드마크를 탐지할 수 있다. 마지막으로 단계 S150에서는, 눈 이미지 분석 장치가 그 복수의 랜드마크를 이용하여, 얼굴이미지의 눈 영역을 분석한 결과를 생성한다. 이때, 눈 이미지 분석 장치는 그 복수의 랜드마크에 기반하여, 얼굴이미지의 눈 영역에 대한 다양한 분석 결과를 생성할 수 있으며, 그 생성된 정보를 제공할 수 있다. 다른 실시예에서는, 얼굴이미지의 눈 영역을 분석한 결과는 IPD(Interpupillary distance), ICD(intercanthal distance), MRD(marginal reflex distance), PFH(palpebral fissure height), DH(Dermatochalasis