Search

KR-102961663-B1 - METHOD AND APPARATUS FOR DETECTING ANOMALY BASED ON IMAGE

KR102961663B1KR 102961663 B1KR102961663 B1KR 102961663B1KR-102961663-B1

Abstract

이미지 기반 이상 탐지 방법 및 장치가 개시된다. 본 개시의 일 실시 예에 따른 이미지 기반 이상 탐지 방법은, 입력 이미지를 획득하는 단계와, 입력 이미지를 인코더 및 디코더를 포함하는 CNN 기반의 학습모델에 입력하여 학습모델의 인코더에 포함된 각 컨볼루션 레이어의 출력으로부터 입력 이미지의 패치 별로 공간적으로 대응되는 활성화 벡터를 추출하는 단계와, 인코더에 포함된 복수의 컨볼루션 벡터의 활성화 벡터를 서로 연결하여 임베딩 벡터를 생성하는 단계와, 임베딩 벡터를 PaDiM(Patch Distribution Modeling) 모델에 입력한 결과에 기반하여 입력 이미지의 이상 부위를 추정하는 단계를 포함할 수 있다.

Inventors

  • 곽정환
  • 김인기

Assignees

  • 국립한국교통대학교산학협력단

Dates

Publication Date
20260506
Application Date
20221021

Claims (10)

  1. 각 단계의 적어도 일부가 프로세서에 의해 수행되는, 이미지 기반 이상 탐지 방법으로서, 철도 레일의 이미지를 획득하는 단계; 상기 철도 레일의 이미지를 일정 길이 별로 분할한 후 크기를 조정하여 전처리 이미지를 생성하는 단계; 상기 전처리 이미지를 인코더 및 디코더를 포함하는 CNN 기반의 학습모델에 입력하여 상기 학습모델의 인코더에 포함된 각 컨볼루션 레이어의 출력으로부터 상기 전처리 이미지의 패치 별로 공간적으로 대응되는 활성화 벡터를 추출하는 단계; 상기 인코더에 포함된 복수의 컨볼루션 벡터의 상기 활성화 벡터를 서로 연결하여 임베딩 벡터를 생성하는 단계; 및 상기 임베딩 벡터를 PaDiM(Patch Distribution Modeling) 모델에 입력한 결과에 기반하여 상기 전처리 이미지의 이상 부위를 추정하는 단계를 포함하고, 상기 학습모델은, 상기 인코더와 상기 인코더에 대응되는 디코더를 포함하고, 상기 인코더의 제1 레이어 및 상기 제1 레이어에 대응하는 상기 디코더의 제2 레이어가 레이어 정규화(Layer Normalization)가 적용된 잔차 스킵 연결 및 해당 스킵을 입력으로 하는 어텐션 게이트를 통해 연결된 구조이고, 상기 어텐션 게이트는, 상기 잔차 스킵 연결을 거친 상기 제1 레이어로부터의 특징맵과, 상기 제2 레이어로 업샘플링 과정에서 이전 레이어의 샘플링되지 않은 특징맵을 입력받아, 상기 전처리 이미지의 관심 객체에 가중치를 부여하는, 이미지 기반 이상 탐지 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서, 상기 전처리 이미지는, 상기 철도 레일의 이미지를 일정 길이 별로 분할한 후, 분할된 복수의 이미지를 회전시킨 후 적어도 2개 이상의 이미지를 결합한 이미지인, 이미지 기반 이상 탐지 방법.
  6. 이미지 기반 이상 탐지 장치로서, 메모리; 및 상기 메모리와 연결되고, 상기 메모리에 포함된 컴퓨터 판독 가능한 명령들을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 철도 레일의 이미지를 획득하고, 상기 철도 레일의 이미지를 일정 길이 별로 분할한 후 크기를 조정하여 전처리 이미지를 생성하고, 상기 전처리 이미지를 인코더 및 디코더를 포함하는 CNN 기반의 학습모델에 입력하여 상기 학습모델의 인코더에 포함된 각 컨볼루션 레이어의 출력으로부터 상기 전처리 이미지의 패치 별로 공간적으로 대응되는 활성화 벡터를 추출하며, 상기 인코더에 포함된 복수의 컨볼루션 벡터의 상기 활성화 벡터를 서로 연결하여 임베딩 벡터를 생성하고, 상기 임베딩 벡터를 PaDiM(Patch Distribution Modeling) 모델에 입력한 결과에 기반하여 상기 전처리 이미지의 이상 부위를 추정하도록 설정되고, 상기 학습모델은, 상기 인코더와 상기 인코더에 대응되는 디코더를 포함하고, 상기 인코더의 제1 레이어 및 상기 제1 레이어에 대응하는 상기 디코더의 제2 레이어가 레이어 정규화(Layer Normalization)가 적용된 잔차 스킵 연결 및 해당 스킵을 입력으로 하는 어텐션 게이트를 통해 연결된 구조이고, 상기 어텐션 게이트는, 상기 잔차 스킵 연결을 거친 상기 제1 레이어로부터의 특징맵과, 상기 제2 레이어로 업샘플링 과정에서 이전 레이어의 샘플링되지 않은 특징맵을 입력받아, 상기 전처리 이미지의 관심 객체에 가중치를 부여하는, 이미지 기반 이상 탐지 장치.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 제 6 항에 있어서, 상기 전처리 이미지는, 상기 철도 레일의 이미지를 일정 길이 별로 분할한 후, 분할된 복수의 이미지를 회전시킨 후 적어도 2개 이상의 이미지를 결합한 이미지인, 이미지 기반 이상 탐지 장치.

Description

이미지 기반 이상 탐지 방법 및 장치{METHOD AND APPARATUS FOR DETECTING ANOMALY BASED ON IMAGE} 본 개시는 이미지 기반 이상 탐지 딥러닝 알고리즘을 통해, 컴퓨터-비전(Vision) 기반 이미지에서 나타나는 이상 영역에 대한 탐지 및 분할(segmentation)이 수행될 수 있도록 하는 이미지 기반 이상 탐지 방법 및 장치에 관한 것이다. 일반적으로, 제품 표면에 발생하는 다양한 손상의 고전적인 점검 방법은, 육안을 통해 제품 표면에 나타나는 손상의 외관을 점검하는 것이다. 하지만, 육안 점검은 작업자에 따라 결함 및 손상의 기준이 다를 수도 있으며, 반복적인 육안 점검은 집중력 저하에 따라 작업 능률의 하락을 야기할 수 있다. 또한, 생산품이 아닌 기기나 설비의 결함을 점검하는 경우 작업자가 직접 육안 점검을 하는 것은 위험한 환경에서 실시될 수 있다는 문제점이 제기된다. 추가적으로 비파괴 검사는 대상을 분해하지 않으며, 제공되는 기능의 적합성을 해치지 않는 상태에서 실시하는 검사이지만, 결함 발생원인에 따라 나타나는 양상이 매우 다르며, 품질을 평가할 경우 적절한 판정기준을 제시하는 것이 매우 어렵다는 한계점이 있다. 이에 최근에는 검사자의 주관성과 전문성에 따른 방법을 대체하기 위해 강력하고 고정밀한 결함 감지를 위한 딥러닝 기반 전략이 제안되었다. 그러나 비정상 유형이 매우 다양하고, 희귀성 결함이 있는 샘플의 수는 결함 영역의 정확한 분할을 어렵게 만든다. 한편, 인코더(Encoder)-디코더(Decoder) 타입의 딥러닝 모델들은 인코딩 경로(path)에서 이미지에서 나타나는 특징을 추출하고, 임베딩 벡터를 생성하여 이를 통해 다시 업샘플링(Upsampling) 과정을 거치지만, 임베딩 벡터에서 업샘플링을 거치는 과정에서 위치 정보를 소실할 가능성이 있다. 또한, 이미지에서 불규칙하게 나타나는 표면 손상 등의 이상(anomaly)은 그 규모가 작은 경우가 많기 때문에, 관심 객체에 가중치를 더 높게 부여하여 효과적으로 손상을 탐지할 수 있는 기법이 필요하다. 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다. 도 1은 일 실시 예에 따른 이미지 기반 이상 탐지 시스템 환경을 개략적으로 나타낸 도면이다. 도 2는 일 실시 예에 따른 이미지 기반 이상 탐지 장치를 개략적으로 나타낸 블록도이다. 도 3은 일 실시 예에 따른 이미지 기반 이상 탐지 모델의 구조를 설명하기 위한 도면이다. 도 4는 일 실시 예에 따른 이미지 기반 이상 탐지 모델의 CNN 기반 학습모델을 설명하기 위한 도면이다. 도 5는 일 실시 예에 따른 이미지 기반 이상 탐지 장치의 훈련 데이터 전처리 과정을 설명하기 위한 도면이다. 도 6은 일 실시 예에 따른 이미지 기반 이상 탐지 장치의 성능 검증 결과를 설명하기 위한 도면이다. 도 7은 일 실시 예에 따른 이미지 기반 이상 탐지 방법을 설명하기 위한 흐름도이다. 본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 개시는 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 개시의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 개시가 완전하도록 하며, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 개시의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 개시를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 개시를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 이하, 본 개시에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 도 1은 일 실시 예에 따른 이미지 기반 이상 탐지 시스템 환경을 개략적으로 나타낸 도면이다. 도 1에 도시된 바와 같이, 이미지 기반 이상 탐지 시스템(1)은 이미지 기반 이상 탐지를 위한 딥러닝 모델, 즉 이미지 기반 이상 탐지 모델을 이용하여, 이미지의 이상 영역을 탐지 및 분할하고자 하는 것이다. 일 실시 예의 이미지 기반 이상 탐지 시스템(1)에서, 이미지 기반 이상 탐지 모델은, 레이어 정규화 스킵 연결(Layer Normalization Skip-Connection)을 적용하고, 레이어 정규화 스킵 연결을 입력으로 받는 어텐션 게이트(Attention Gate)를 적용한 PaDiM(Patch Distribution Modeling) 모델로, 레이어 정규화 스킵 연결을 통해 일관성 있는 위치 정보의 개선을 도출할 수 있도록 하며, 관심 영역에 가중치를 주어 집중할 수 있도록 한다. 즉, 일 실시 예에서는, 이미지 기반 이상 탐지 모델을 통해, 컴퓨터-비전 분야에서 이미지에 나타나는 외관 결함(예를 들어, 철도 트랙의 레일 표면의 결함 등)을 분할 및 탐지할 수 있다. 이때 일 실시 예에서는, CNN 기반의 학습모델을 백본으로 하는 PaDiM를 기반으로 하는데, PaDiM은 One-Class Classification 기법 기반 손상 및 이상(Anomaly) 탐지 모델이며, 일반적으로 CNN 기반의 학습모델로 ResNet 모델을 사용한다. 즉, 기존의 PaDiM은 ResNet을 사용함으로써, 계산된 Anomaly Map과 입력되는 이미지의 마할라노비스(Mahalanobis) 거리를 사용하여 이상치를 계산하였다. 하지만, 기존에 사용되는 ResNet은 Attention 기법 및 Skip-Connection이 적용되지 않아, 정확도가 다소 떨어지는 문제가 있다. 이에, 일 실시 예에서는, PaDiM에 적용되는 CNN(Convolutional Neural Networks) 기반의 학습모델을 U-Net으로 사용할 수 있다. 하지만 U-Net의 경우, 인코더-디코더 과정에서 초기 인코더가 분할을 탐지하기 위한 가중치가 적절한 상태가 아니므로, 불확실한 특징(Feature)이 추출될 수 있다는 단점이 존재한다. 따라서 일 실시 예에서는, 분할을 위한 특징을 추출하기 위해 정확한 위치 정보 제공을 할 수 있는 잔차 스킵 연결(Residual Skip Connection) 및 레이어 정규화(Layer Normalization)를 적용할 수 있다. 또한, 제품 외관에서 나타나는 손상의 경우 불규칙하게 예측할 수 없는 위치에 발생하며, 다양한 이유로 인해 표면에 잡음(Noise)이 나타날 수도 있기 때문에, 일 실시 예에서는, 관심 있는 특징에 높은 가중치를 주어 효과적으로 학습할 수 있는 어텐션 기법도 적용할 수 있다. 따라서, 일 실시 예에서는, 기존 PaDiM에서 ResNet을 어텐션 U-Net으로 변경하고, 적용된 어텐션 U-Net에 스킵 연결을 적용함으로써, 관심 객체에는 높은 가중치를 부여함과 동시에, 인코더-디코더 형태를 가지는 어텐션 U-Net의 디코더 영역에서 스킵 연결을 적용함으로써 위치 정보를 더 보존하고 활용할 수 있는 형태로 이미지 기반 이상 탐지 모델을 설계할 수 있다. 이러한 이미지 기반 이상 탐지 모델을 사용하는 이미지 기반 이상 탐지 장치(100)는 생산공정에서의 생산품, 기차가 주행하는 선로, PCB, 알약, 직물 등 다양한 분야에서 적용이 가능하다. 한편 본 실시 예에서는, 사용자들이 사용자 단말(200)에서 구현되는 어플리케이션 또는 웹사이트에 접속하여, 이상 탐지를 위한 대상 객체 이미지(예컨대, 철도 레일 이미지)를 입력하거나, 이상 탐지 결과를 확인하는 것뿐만 아니라, 학습 모델의 하이퍼 파라미터를 설정(입력)하는 등의 과정을 수행할 수 있다. 이러한 사용자 단말(200)은 이미지 기반 이상 탐지 어플리케이션 또는 이미지 기반 이상 탐지 웹사이트에 접속한 후 인증 과정을 통하여 서비스를 제공받을 수 있다. 인증 과정은 회원가입 등 사용자 정보를 입력하는 인증, 사용자 단말에 대한 인증 등을 포함할 수 있으나, 이에 한정되지 않고 이미지 기반 이상 탐지 장치(100) 및/또는 서버(300)에서 전송되는 링크에 접속하는 것만으로 인증 과정이 수행될 수도 있다. 본 실시 예에서, 사용자 단말(200)은 사용자가 조작하는 데스크 탑 컴퓨터, 스마트폰, 노트북, 태블릿 PC, 스마트 TV, 휴대폰, PDA(personal digital assistant), 랩톱, 미디어 플레이어, 마이크로 서버, GPS(global positioning system) 장치, 전자책 단말기, 디지털방송용 단말기, 네비게이션, 키오스크, MP3 플레이어, 디지털 카메라, 가전기기 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다. 또한, 사용자 단말(200)은 통신 기능 및 데이터 프로세싱 기능을 구비한 시계, 안경, 헤어 밴드 및 반지 등의 웨어러블 단말기 일 수 있다. 사용자 단말(200)은 상술한 내용에 제한되지 아니하며, 웹 브라우징이 가능한 단말기는 제한 없이 차용될 수 있다. 한편, 일 실시 예에서, 이미지 기반 이상 탐지 시스템(1)은