Search

KR-20260061749-A - Image based Inspection Device and Method therefor

KR20260061749AKR 20260061749 AKR20260061749 AKR 20260061749AKR-20260061749-A

Abstract

본 발명은 이미지 기반 검사 장치 및 검사 방법에 관한 것으로 복수의 학습용 검사 대상물을 촬영하여 이미지를 생성하는 촬영부, 상기 복수의 학습용 검사 대상물 각각을 상기 촬영부에서 제1 노출시간동안 노출시켜 제1 이미지를 생성하는 제1 이미지 생성부, 상기 복수의 학습용 검사 대상물 각각을 상기 촬영부에서 제2 노출시간동안 노출시켜 제2 이미지를 생성하는 제2 이미지 생성부, 상기 각각의 학습용 검사 대상물 별로 상기 제1 이미지 및 상기 제2 이미지를 매칭시켜 학습 데이터로 저장하는 학습 데이터 저장부, 상기 학습 데이터를 이용하여 학습하여 인공지능 모델을 생성하는 학습부 및 상기 생성된 인공지능 모델에 실제 검사 대상물을 상기 촬영부에서 제1 노출시간동안 노출시켜 생성한 검사 이미지를 입력시켜 보정된 검사 이미지를 생성하는 보정부를 포함하는 이미지 기반 검사 장치 및 그 동작 방법을 제공한다.

Inventors

  • 황영민
  • 김윤혁
  • 박다현

Assignees

  • 주식회사 에이치비테크놀러지

Dates

Publication Date
20260506
Application Date
20241028

Claims (11)

  1. 복수의 학습용 검사 대상물을 촬영하여 이미지를 생성하는 촬영부; 상기 복수의 학습용 검사 대상물 각각을 상기 촬영부에서 제1 노출시간동안 노출시켜 제1 이미지를 생성하는 제1 이미지 생성부; 상기 복수의 학습용 검사 대상물 각각을 상기 촬영부에서 제2 노출시간동안 노출시켜 제2 이미지를 생성하는 제2 이미지 생성부; 상기 각각의 학습용 검사 대상물 별로 상기 제1 이미지 및 상기 제2 이미지를 매칭시켜 학습 데이터로 저장하는 학습 데이터 저장부; 상기 학습 데이터를 이용하여 학습하여 인공지능 모델을 생성하는 학습부 및 상기 생성된 인공지능 모델에 실제 검사 대상물을 상기 촬영부에서 제1 노출시간동안 노출시켜 생성한 검사 이미지를 입력시켜 보정된 검사 이미지를 생성하는 보정부 를 포함하는 것을 특징으로 하는 검사 장치.
  2. 제1항에 있어서 상기 제1 노출시간은 상기 제2 노출시간보다 짧은 것 을 특징으로 하는 검사 장치.
  3. 제2항에 있어서, 상기 제1 노출시간은 상기 제1 이미지의 평균 밝기 기준 상위 10%의 평균 밝기가 10DN 이상 50DN 이하의 범위에 속하도록 하는 시간이며, 상기 제2 노출시간은 상기 제2 이미지의 평균 밝기 기준 상위 10%의 평균 밝기가 150DN 이상이 되도록 하는 시간인 것 을 특징으로 하는 검사 장치.
  4. 제1항에 있어서, 상기 학습부는 제1 이미지의 특성을 제2 이미지의 특성으로 변환하는 인공지능 알고리즘을 이용하여 상기 인공지능 모델을 생성하는 것 을 특징으로 하는 검사 장치.
  5. 제1항에 있어서, 상기 보정부에서 생성된 보정된 검사 이미지를 분석하여 상기 실제 검사 대상물의 결함을 인식하는 분석부 를 더 포함하는 것을 특징으로 하는 검사 장치.
  6. 중앙처리장치 및 메모리를 구비하고, 복수의 학습용 검사 대상물을 촬영하여 이미지를 생성하는 촬영부를 포함하는 검사 장치에서 동작하는 검사 방법에 있어서, 상기 복수의 학습용 검사 대상물 각각을 상기 촬영부에서 제1 노출시간동안 노출시켜 제1 이미지를 생성하는 제1 이미지 생성 단계; 상기 복수의 학습용 검사 대상물 각각을 상기 촬영부에서 제2 노출시간동안 노출시켜 제2 이미지를 생성하는 제2 이미지 생성 단계; 상기 각각의 학습용 검사 대상물 별로 상기 제1 이미지 및 상기 제2 이미지를 매칭시켜 학습 데이터로 저장하는 학습 데이터 저장 단계; 상기 학습 데이터를 이용하여 학습하여 인공지능 모델을 생성하는 학습 단계 및 상기 생성된 인공지능 모델에 실제 검사 대상물을 상기 촬영부에서 제1 노출시간동안 노출시켜 생성한 검사 이미지를 입력시켜 보정된 검사 이미지를 생성하는 보정 단계 를 포함하는 것을 특징으로 하는 검사 방법.
  7. 제6항에 있어서 상기 제1 노출시간은 상기 제2 노출시간보다 짧은 것 을 특징으로 하는 검사 방법.
  8. 제7항에 있어서, 상기 제1 노출시간은 상기 제1 이미지의 평균 밝기 기준 상위 10%의 평균 밝기가 10DN 이상 50DN 이하의 범위에 속하도록 하는 시간이며, 상기 제2 노출시간은 상기 제2 이미지의 평균 밝기 기준 상위 10%의 평균 밝기가 150DN 이상이 되도록 하는 시간인 것 을 특징으로 하는 검사 방법.
  9. 제6항에 있어서, 상기 학습 단계는 제1 이미지의 특성을 제2 이미지의 특성으로 변환하는 인공지능 알고리즘을 이용하여 상기 인공지능 모델을 생성하는 것 을 특징으로 하는 검사 방법.
  10. 제6항에 있어서, 상기 보정부에서 생성된 보정된 검사 이미지를 분석하여 상기 실제 검사 대상물의 결함을 인식하는 분석 단계 를 더 포함하는 것을 특징으로 하는 검사 방법
  11. 제6항 내지 제10항 중 어느 한 항의 방법을 컴퓨터가 실행하도록 기능시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.

Description

이미지 기반 검사 장치 및 검사 방법 {Image based Inspection Device and Method therefor} 본 발명은 이미지 기반 검사 장치 및 검사 방법에 관한 것으로, 빠른 속도로 검사 대상물을 스캔하면서도 정확한 결함 탐지가 가능하도록 하는 검사 장치와 그 동작 방법에 관한 것이다. 패키징 기판 등을 생산하는 공정에서 생산된 기판 등의 생산물에 결함이 있는지 여부를 판별하는 검사 공정은 매우 중요한 공정이다. 최근 이미지 분석 기술이 발달하면서 카메라를 이용하여 검사 대상물을 촬영하고 이를 분석하여 결함 여부를 판별하는 기술이 발달하고 있다. 한국공개특허 제10-2023-0063961호, "피검사체의 광학 검사를 위한 제어 장치"와 같은 종래기술에서 이와 같은 검사 성능을 극대화하기 위한 방법들을 제시한다. 그러나, 종래기술들에 따르더라도, 정확한 검사를 위해서는 많은 검사 대상물을 카메라에 노출시켜 노이즈가 최소화되는 정확도 높은 이미지를 획득해야 하는데, 이를 위해서는 1개의 검사 대상물마다 검사 시간이 많이 소요되어 전체 검사 시간이 길어지는 문제가 있다. 따라서, 짧은 노출시간으로 이미지를 촬영하면서도 정확한 검사 결과를 얻을 수 있도록 하는 기술이 요구된다. 도 1은 본 발명의 일실시예에 따른 검사 장치의 구성을 도시한 도면이다. 도 2는 본 발명의 일실시예에 따른 검사 장치에서 사용되는 학습용 이미지와 보정된 이미지의 일례를 도시한 도면이다. 도 3은 본 발명의 일실시예에 따른 검사 장치에서 학습용 이미지와 보정된 이미지의 결과를 비교한 도면이다. 도 4는 본 발명의 일실시예에 따른 검사 방법의 흐름을 나타낸 흐름도이다. 이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하기로 한다. 또한 본 발명의 실시예들을 설명함에 있어 구체적인 수치는 실시예에 불과하며 이에 의하여 발명의 범위가 제한되지 아니한다. 본 발명에 따른 검사 장치는 중앙처리장치(CPU) 및 메모리(Memory, 기억장치)를 구비하는 장치가 종래의 카메라 이미지 기반 검사 장치에 부착되는 형태로 구성될 수 있으며, 통신망을 통해 서로 연결되어 처리되도록 구성될 수도 있다. 이처럼 본 발명에 따른 검사 장치는 물리적으로 하나의 장치로 구성될 수도 있으며, 복수의 장치에 분산된 형태로 구현될 수도 있다. 도 1은 본 발명의 일실시예에 따른 검사 장치의 구성을 도시한 도면이다. 도면에 도시한 바와 같이, 본 발명의 일실시예에 따른 검사 장치(101)는 촬영부(110), 제1 이미지 생성부(120), 제2 이미지 생성부(130), 학습 데이터 저장부(140), 학습부(150), 보정부(160) 및 분석부(170)를 포함하여 구성될 수 있다. 각각의 구성요소들은 물리적으로 동일한 장치 내에서 동작하는 소프트웨어 모듈일 수 있으며, 물리적으로 2개 이상으로 분리된 장치가 통신망 등을 통해 서로 연동하여 동작할 수 있도록 구성된 형태일 수 있는데, 동일한 기능을 포함하는 다양한 실시형태가 본 발명의 권리범위에 속한다. 촬영부(110)는 복수의 학습용 검사 대상물을 촬영하여 이미지를 생성한다. 촬영부(110)는 카메라 모듈과 광원을 포함하여 구성될 수 있는데, 하나의 실시예로, 패키징 기판 검사를 위하여, TDI 라인 스캔 카메라를 카메라 모듈로 이용하고 자외선 레이저 광원을 이용하여 촬영부(110)가 구성될 수 있으며, 패키징 기판을 흑백으로 촬영한 영상을 이용하여 패키징 기판의 결함을 인식하도록 구성될 수 있다. 촬영부(110)에서 검사 대상물을 촬영할 때에, 카메라 모듈에 노출되는 노출시간에 따라 촬영되는 이미지가 달라질 수 있다. 노출시간이 길어질수록 적은 광량으로도 높은 대비(Contrast)를 가지는 선명한 이미지를 획득할 수 있고, 노출시간이 짧아질수록 낮은 대비(Contrast)를 가지며 노이즈가 더 많이 포함되는 이미지를 획득할 수 있다. 따라서, 촬영부(110)에서 검사 대상물을 촬영할 때, 가급적 노출시간을 길게하여 검사할수록 검사 성능을 높일 수 있는데, 노출시간을 높이게 되면 1개의 검사 대상물당 촬영 시간이 길어지게 되어 전체 공정상의 검사 시간이 길어지게 된다. 제1 이미지 생성부(120)는 상기 복수의 학습용 검사 대상물 각각을 상기 촬영부에서 제1 노출시간동안 노출시켜 제1 이미지를 생성한다. 제2 이미지 생성부(130)는 상기 복수의 학습용 검사 대상물 각각을 상기 촬영부에서 제2 노출시간동안 노출시켜 제2 이미지를 생성한다. 이 때, 제1 노출시간은 제2 노출시간보다 짧게 설정되며, 상대적으로 짧은 제1 노출시간동안 노출하여 촬영한 제1 이미지와 상대적으로 긴 제2 노출시간동안 노출하여 촬영한 제2 이미지의 특징을 분석하여 인공지능 모델을 생성함으로써, 실제 검사 대상물을 제1 노출시간만큼 노출하여 촬영한 이미지를 인공지능 모델을 이용하여 제2 노출시간만큼 노출하여 촬영한 이미지와 같은 검사 성능을 가지는 이미지로 보정하여 짧은 시간의 촬영으로 높은 검사 성능을 나타낼 수 있도록 한다. 실제 검사 대상물을 촬영하여 검사할 때에는 제1 노출시간만큼 노출시켜 촬영하도록 하기 때문에, 제1 노출시간이 짧을수록 검사 속도가 빨라지게 된다. 반면, 제1 노출시간이 길어지게 되면 검사 정확도를 높일 수 있다. 상술한 바와 같이, 자외선 레이저 광원으로 TDI 라인 스캔 카메라를 이용하여 검사를 수행하는 경우, 상기 제1 노출시간은 상기 제1 이미지의 평균 밝기 기준 상위 10%의 평균 밝기가 10DN 이상 50DN 이하의 범위에 속하도록 하는 시간으로 설정되는 것이 바람직하다. 이 때, 상기 촬영부(110)는 그레이 스케일로 영상을 촬영하고, DN은 그레이 스케일로 촬영된 영상의 밝기 값(Digitan Number)를 의미한다. 제1 노출시간동안 노출시켜 촬영한 영상의 밝기가 10DN 미만이 되면 인공지능 모델을 통한 보정으로도 충분한 노출시간동안 노출한 것과 같은 영상을 획득하기 어렵고, 50DN 이상이 되면 검사시간을 단축시키는 효과를 기대하기 어렵기 때문이다. 또한, 상기 제2 노출시간은 상기 제2 이미지의 평균 밝기 기준 상위 10%의 평균 밝기가 150DN 이상이 되도록 하는 시간으로 구성되는 것이 바람직하다. 평균 밝기가 150DN 이상이 되어야 높은 정확도의 검사 결과를 얻을 수 있기 때문이다. 또한, 시간을 기준으로는 제1 노출시간은 30 마이크로초(usec) 이상 50 마이크로초(usec)이하의 범위로 설정되는 것이 바람직하다. 30 마이크로초(usec) 미만으로 설정될 경우 인공지능 모델을 통해 보정하더라도 검사 정확도가 떨어지게 되며, 50 마이크로초(usec)를 초과하여 설정할 경우에는 검사시간을 단축시키는 효과를 높이기 어렵다. 또한, 제2 노출시간은 충분하게 높은 대비(Contrast)를 가지고 노이즈를 최소화하는 영상을 확보할 수 있도록 설정되어야 한다. 제2 노출시간은 실제 검사 대상물을 검사할 때에 노출되는 시간이 아니기 때문에, 충분한 수준의 영상을 확보할 수 있도록 설정되어야 하며, 실험 결과 200 마이크로초(usec) 미만으로 설정될 경우, 보정을 통해서도 높은 검사 성능을 확보하기 어려울 수 있으므로 200 마이크로초(usec) 이상으로 설정되는 것이 바람직하다. 학습 데이터 저장부(140)는 상기 각각의 학습용 검사 대상물 별로 상기 제1 이미지 및 상기 제2 이미지를 매칭시켜 학습 데이터로 저장한다. 제1 이미지 생성부 및 제2 이미지 생성부에서 하나의 학습용 검사 대상물에 대해서 각각 제1 이미지 및 제2 이미지를 생성하는데, 이를 서로 매칭시켜 학습 데이터로 저장한다. 도면에서와 같이, 학습용 검사 대상물 1, 학습용 검사 대상물 2, ??, 학습용 검사 대상물 n으로 n개의 학습용 검사 대상물을 촬영하여, 학습용 검사 대상물 1에 대한 제1 이미지 및 제2 이미지, 학습용 검사 대상물 2에 대한 제1 이미지 및 제2 이미지, ??, 학습용 검사 대상물 n에 대한 제1 이미지 및 제2 이미지를 생성하여 2*n개의 이미지, n개의 이미지 쌍을 학습 데이터로 확보하게 된다. 학습 데이터 저장부(140)에서 저장하는 학습 데이터는 다양한 검사 대상물에 대해서 정확한 보정이 이루어질 수 있도록 하기 위해 충분한 수로 구축될 필요가 있으며, 이는 적용하는 인공지능 알고리즘 등에 따라서 달라질 수 있고, 본 발명이 이에 의해 제한되지는 않는다. 학습부(150)는 상기 학습 데이터를 이용하여 학습하여 인공지능 모델을 생성한다. 다수의 학습용 검사 대상물에 대한 제1 이미지 및 제2 이미지 쌍을 학습 데이터로 구축하고, 이를 인공지능 알고리즘으로 학습시키면 제1 이미지의 특성을 제2 이미지의 특성으로 변환할 수 있는 인공지능 모델을 생성할 수 있다. 이와 같이 생성된 인공지능 모델은 제1 이미지의 특성을 제2 이미지의 특성으로 변환하기 때문에, 추후 제1 이미지와 같이 제1 노출시간 동안 노출시켜 실제 검사 대상물을 촬영한 이미지를 보정하여 제2 노출시간 동안 노출시켜 촬영한 것과 같이 높은 검사 성능을 보이는 검사용 이미지를 생성할 수 있다. 학습부(150)에서 구축된 학습 데이터를 학습시키기 위해 사용하는 인공지능 알고리즘은 이미지의 특징을 분석하여 보정된 이미지를 생성할 수 있는 알고리즘을 적용할 수 있다. 예를 들어, CNN(Convolution Neural Network) 기반의 Resnet, Unet, DenseNet, Inception 등의 딥러닝 알고리즘이 적용될 수 있으며, 제1 이미지의 특성과 제2 이미지의 특성을 분석하여 입력되는 이미지를 제2 이미지의 특성에 맞게 변환하여 보정된 이미지를 생성할 수 있는 인공지능 알고리즘이라면 어떤 것도 본 발명에 적용할 수 있다. 보정부(160)는 상기 생성된 인공지능 모델에 실제 검사 대상물을 상기 촬영부에서 제1 노출시간동안 노출시켜 생성한 검사 이미지를 입력시켜 보정된 검사 이미지를 생성한다. 앞서 설명한 바와 같이, 인공지능 모델은 제1 이미지의 특성을 제2 이미지