KR-20260061343-A - APPARATUS AND METHOD FOR PREPROCESSING HYPERSPECTRAL IMAGE ANALYSIS DEEP LEARNING MODEL

KR20260061343AKR 20260061343 AKR20260061343 AKR 20260061343AKR-20260061343-A

Abstract

이미지 전처리 장치에 의해 수행되는, 이미지 전처리 방법이 개시된다. 일 실시예에 따른 이미지 전처리 방법은 입력 이미지를 수신하는 단계, 메모리에 저장된 정상 요소 중 상기 입력 이미지에 포함된 각각의 요소와 유사도가 가장 높은 각각의 정상 요소를 결정하는 단계, 상기 결정된 정상 요소를 통해 상기 입력 이미지에 대한 전처리를 수행하는 단계, 및 상기 전처리 결과를 출력하는 단계를 포함할 수 있다.

Inventors

김명환
유광선

Assignees

주식회사 엘로이랩

Dates

Publication Date: 20260506
Application Date: 20260330

Claims (5)

이미지 전처리 장치에 의해 수행되는, 이미지 전처리 방법 있어서, 입력 이미지를 수신하는 단계; 메모리에 저장된 정상 요소 중 상기 입력 이미지에 포함된 각각의 요소와 유사도가 가장 높은 각각의 정상 요소를 결정하는 단계; 상기 결정된 정상 요소를 통해 상기 입력 이미지에 대한 전처리를 수행하는 단계; 및 상기 전처리 결과를 출력하는 단계 를 포함하는, 이미지 전처리 방법.
제1항에 있어서, 상기 정상 요소는, 정상 초분광 영상에 포함된 예비 정상 요소들 사이의 유사도를 측정하는 단계; 및 상기 측정된 유사도에 기초하여 상기 예비 정상 요소들 중 상기 메모리에 저장될 상기 정상 요소를 결정하는 단계 를 통해 결정되는, 이미지 전처리 방법.
제1항에 있어서, 상기 전처리를 수행하는 단계는, 상기 입력 이미지에 포함된 요소의 평균 및 상기 결정된 정상 요소의 평균에 기초하여 상기 입력 이미지에 대한 전처리를 수행하는, 이미지 전처리 방법.
제3항에 있어서, 상기 전처리를 수행하는 단계는, 수학식 1 내지 수학식 5에 기초하여 상기 전처리를 수행하고, 상기 수학식 1은, 이고, 수학식 2는, 이고, 수학식 3은, 이고, 수학식 4는, 이고, 수학식 5는, 이고, 상기 는 상기 입력 이미지에 포함된 요소이고, 는 메모리에 저장된 정상 요소 중 와 유사도가 가장 높은 정상 요소이고, 상기 는 상기 에 대한 전처리 결과이고, 은 반지름 r의 local square window의 mean filter를 의미하고, 는 정규화 상수를 의미하는, 이미지 전처리 방법.
이미지 전처리 장치에 있어서, 입력 이미지를 수신하는 수신기; 메모리; 및 프로세서 를 포함하고, 상기 프로세서는, 상기 메모리에 저장된 정상 요소 중 상기 입력 이미지에 포함된 각각의 요소와 유사도가 가장 높은 각각의 정상 요소를 결정하고, 상기 결정된 정상 요소를 통해 상기 입력 이미지에 대한 전처리를 수행하고, 상기 전처리 결과를 출력하는, 이미지 전처리 장치.

Description

초분광 영상 분석 딥러닝 모델을 위한 전처리 방법 및 장치{APPARATUS AND METHOD FOR PREPROCESSING HYPERSPECTRAL IMAGE ANALYSIS DEEP LEARNING MODEL} 아래 실시예들은 초분광 영상 분석 딥러닝 모델을 위한 전처리 방법 및 장치에 관한 것이다. RGB는 3 개의 채널을 가지는 반면, HSIs(Hyperspectral Images)는 200개의 대역(bands) 이상의 넓은 범위의 파장을 측정한다. 이를 위해, HSI는 RGB 이미지에서 찾을 수 없는 복잡한 특징(complex feature)을 검출한다. 딥 러닝(deep learning)은 HSIs 영상의 특징 검출에도 널리 활용되고 있다. 컴퓨터 비전 또는 번역과 같은 다양한 분야에서 널리 사용되고 있다. 지도 학습 기반의 인공신경망 모델은 학습한 데이터 분포에서는 정확도가 높은 특징 검출이 가능하지만, 학습되지 않은 데이터 분포에서는 검출의 정확도가 저하될 수 있다. 비지도학습 기반의 인공신경망 모델은 학습 데이터와 상이한 데이터 분포에 대해서도 분류가 가능하다는 점에서 비교적 지도학습 기반의 딥러닝 모델이 지도학습에 대한 대안으로 고려될 수 있으나, 전반적으로 지도학습 모델 기반의 모델에 비해 예측 정확도가 떨어지는 문제가 있다. 일반적으로 딥 러닝 모델의 성능을 개선하기 위해서는 모델의 깊이를 늘릴 필요가 있으나, 실시간 처리가 요구되는 산업 현장에서 그 구현이 현실적이지 못한 경우가 많이 있다. 도 1은 일 실시예에 따른 이미지 전처리 장치의 동작을 개략적으로 설명하기 위한 도면이다. 도 2는 일 실시예에 따른 이미지 전처리 장치의 개략적인 블록도를 나타낸다. 도 3은 일 실시예에 따른 이미지 전처리 방법을 설명하기 위한 흐름도이다. 도 4는 일 실시예에 따른 이미지 전처리 장치가 개별 정상 요소에 대한 정보를 메모리에 저장하는 방식을 설명하기 위한 흐름도이다. 도 5는 일 실시예에 따른 이미지 전처리 장치가 정상 요소를 결정하여 메모리에 저장하는 동작을 보다 상세히 설명하기 위한 도면이다. 도 6은 일 실시예에 따른 이미지 전처리 장치가 입력 데이터에 대한 전처리를 수행하는 동작을 보다 상세히 설명하기 위한 도면이다. 도 7a 및 도 7b는 일 실시예에 따른 이미지 전처리 방법에 따른 전처리 결과를 예시적으로 도시하는 도면이다. 도 8은 일 실시예에 따른 이미지 전처리 방법이 적용된 학습 데이터를 통해 학습된 뉴럴 네트워크 모델의 성능을 타 모델과 비교한 결과를 도시하는 도면이다. 본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다. 본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다. 제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~사이에"와 "바로~사이에" 또는 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다. 본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 본 명세서에서의 모듈(module)은 본 명세서에서 설명되는 각 명칭에 따른 기능과 동작을 수행할 수 있는 하드웨어를 의미할 수도 있고, 특정 기능과 동작을 수행할 수 있는 컴퓨터 프로그램 코드를 의미할 수도 있고, 또는 특정 기능과 동작을 수행시킬 수 있는 컴퓨터 프로그램 코드가 탑재된 전자적 기록 매체, 예를 들어 프로세서 또는 마이크로 프로세서를 의미할 수 있다. 다시 말해, 모듈이란 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및/또는 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적 및/또는 구조적 결합을 의미할 수 있다. 이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다. 도 1은 일 실시예에 따른 이미지 전처리 장치의 동작을 개략적으로 설명하기 위한 도면이다. 도 1을 참고하면, 이미지 전처리 장치는 입력 데이터(110)와 이미지 전처리 장치의 메모리(120)에 저장된 정상 요소(121) 사이의 연산을 통해 입력 데이터(110)에 대한 전처리(130)를 수행할 수 있다. 입력 데이터(110)는 예시 영상(111)에 도시된 바와 같이 정상 물질들과 비정상 물질들이 혼재된 초분광 영상(HSIs 영상)일 수 있다. 정상 요소(121)는 예시적으로 정상 초분광 영상(HSIs 영상)에 포함된 스펙트럼을 의미할 수 있으나, 구현에 따라 정상 요소(121)는 스펙트럼에 한정되는 것은 아니고, 영상에 포함되는 임의의 요소를 포함할 수 있음은 통상의 기술자가 이해할 것이다. 예시적인 구현에서 메모리(120)에 저장되는 정상 요소(121)는 정상 물질들로 구성된 정상 초분광 영상(122)에 포함된 예비 정상 요소(123)(예를 들어, 정상 초분광 영상(122)에 포함된 모든 스펙트럼)에 대한 소정의 필터링이 이루어진 데이터일 수 있다. 예비 정상 요소(123)로부터 정상 요소(121)를 필터링하는 구체적인 방식은 이하 첨부될 도면을 통해 보다 상세히 설명될 수 있다. 전처리(130)가 수행된 입력 데이터(110)는 뉴럴 네트워크 모델(140)의 학습에 활용될 수 있으며, 학습된 뉴럴 네트워크 모델(140)은 입력 데이터(110)에서 정상 물질과 비정상 물질을 분류(150)하는 프로세스에 활용될 수 있다. 이미지 전처리 장치를 통한 전처리는 뉴럴 네트워크 모델(140)의 학습 과정뿐만 아니라, 뉴럴 네트워크 모델(140)을 통해 입력 이미지를 분류하는 과정에서도 활용될 수 있다. 뉴럴 네트워크 모델(140)는 예시적으로 오토 인코더(Auto-Encoder) 모델이 사용될 수 있으나, 뉴럴 네트워크 모델이 제시된 예시에 한정되는 것이 아님은 통상의 기술자가 이해할 것이다. 도 2는 일 실시예에 따른 이미지 전처리 장치의 개략적인 블록도를 나타낸다. 도 2를 참조하면, 이미지 전처리 장치(200)는 이미지에 대한 전처리를 수행할 수 있다. 보다 구체적으로, 이미지 전처리 장치(200)는 이하 설명될 소정의 필터링 프로세스를 입력 이미지에 적용함으로써, 정상 입력 이미지의 특징과 비정상 입력 이미지의 특징 사이의 차이를 보다 크게할 수 있다. 이미지 전처리 장치(200)를 통해 전처리된 이미지를 통해 학습된 뉴럴 네트워크 모델은 전처리 전 데이터를 활용하여 학습되는 뉴럴 네트워크에 비해 예측 정확도가 향상될 수 있다. 보다 구체적으로, 앞서 설명되는 뉴럴 네트워크 모델은 입력 이미지를 처리하여 이미지에 대한 분류를 수행할 수 있다. 이미지는 빛의 굴절이나 반사 등에 의하여 이루어진 물체의 상을 포함하는 것으로, 선이나 색채를 이용하여 사물의 형상을 나타낸 것을 의미할 수 있다. 이미지는 컴퓨터가 처리할 수 있는 형태로 된 정보로 이루어질 수 있다. 예를 들어, 이미지는 HSI(Hyperspectral Image)를 포함할 수 있다. 뉴럴 네트워크(또는 인공 신경망)는 기계학습과 인지과학에서 생물학의 신경을 모방한 통계학적 학습 알고리즘을 포함할 수 있다. 뉴럴 네트워크는 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 뉴럴 네트워크의 뉴런은 가중치 또는 바이어스의 조합을 포함할 수 있다. 뉴럴 네트워크는 하나 이상의 뉴런 또는 노드로 구성된 하나 이상의 레이어(layer)를 포함할 수 있다. 뉴럴 네트워크는 뉴런의 가중치를 학습을 통해 변화시킴으로써 임의의 입력으로부터 예측하고자 하는 결과를 추론할 수 있다. 뉴럴 네트워크는 심층 뉴럴 네트워크 (D