Search

KR-102961224-B1 - METHOD AND SYSTEM FOR DIAGNOSING DETERIORATION OF TURBINE BLADES USING A SMARTPHONE

KR102961224B1KR 102961224 B1KR102961224 B1KR 102961224B1KR-102961224-B1

Abstract

스마트폰으로 터빈 블레이드를 촬영하여 수집한 제1 이미지의 해상도를 스케일링 다운한 이미지로 학습 데이터 셋을 구축하는 단계, 학습 데이터 셋으로 학습시킨 제1 인공신경망 모델을 구축하고 레이블링 이미지를 출력하는 단계, 학습 데이터 셋과 레이블링 이미지를 분산 저장하는 단계, 레이블링 된 출력을 제2 인공신경망 모델의 레이블로 하여 제2 인공신경망 모델을 학습시키는 단계, 그리고 제2 인공신경망 모델로 터빈 블레이드의 열화를 예측하는 단계를 포함하고, 학습 데이터 셋을 구축하는 단계는, 이미지 중 터빈 블레이드의 열화에 대응하는 기설정 부위를 판독하는 단계, 그리고 기설정 부위 판독에 오류가 발생한 경우 오류를 검출하는 단계를 포함하는 터빈 블레이드 열화 진단 방법.

Inventors

  • 이인태
  • 박준우
  • 정남준

Assignees

  • 한국전력공사

Dates

Publication Date
20260506
Application Date
20211216

Claims (19)

  1. 스마트폰으로 터빈 블레이드를 촬영하여 수집한 제1 이미지의 해상도를 스케일링 다운한 이미지로 학습 데이터 셋을 구축하는 단계, 상기 학습 데이터 셋으로 학습시킨 제1 인공신경망 모델을 구축하고 레이블링 이미지를 출력하는 단계, 상기 학습 데이터 셋과 상기 레이블링 이미지를 분산 저장하는 단계, 상기 레이블링 된 출력을 제2 인공신경망 모델의 레이블로 하여 상기 제2 인공신경망 모델을 학습시키는 단계, 그리고 상기 제2 인공신경망 모델로 상기 터빈 블레이드의 열화를 예측하는 단계 를 포함하고, 상기 학습 데이터 셋을 구축하는 단계는, 상기 이미지 중 상기 터빈 블레이드의 열화에 대응하는 기설정 부위를 판독하는 단계, 그리고 상기 기설정 부위 판독에 오류가 발생한 경우 상기 오류를 검출하는 단계 를 포함하고, 상기 제1 인공신경망 모델을 구축하는 단계는, 상기 제1 인공신경망에 상기 학습 데이터 셋을 입력하는 단계 상기 학습 데이터 셋에 포함된 상기 이미지에 나타난 QR코드를 인식하는 단계, 상기 QR코드의 기울어짐 데이터로 상기 이미지를 보정하는 단계, 보정된 상기 이미지에 하기의 수식을 만족하는 호모그래피 변환을 하는 단계, 그리고 상기 변환으로 열화 부위를 정확하게 컨투어링 하여 레이블링 데이터를 출력하는 단계를 포함하고, u 및 v는 변환전 이미지의 열화 부위 좌표, H 행렬은 상기 QR코드의 기울어짐을 보정하기 위한 좌표 변환 행렬, u’ 및 v’는 보정 후 정확한 열화 부위의 좌표인, 터빈 블레이드 열화 진단 방법.
  2. 제 1항에 있어서, 상기 제1 이미지를 분산 저장하는 단계에서, 상기 이미지들의 해상도는 1024(pixel) x 1024(pixel) 이상인 터빈 블레이드 열화 진단 방법.
  3. 제 2항에 있어서, 상기 이미지를 분산 저장하는 단계에서, 상기 이미지의 높이와 상기 이미지의 폭이 실질적으로 동일하고, 상기 이미지는 상기 터빈 블레이드 표면에 QR코드가 부착된 터빈 블레이드 열화 진단 방법.
  4. 제 1항에 있어서, 상기 제1 인공신경망 모델을 구축하는 단계에서, 상기 제1 인공신경망 모델은 U2-net이고, 상기 학습 데이터 셋은 기저장된 제1 이미지와 서로 다른 상기 해상도를 가지고 수집된 상기 이미지들을 상기 이미지들 중 가장 작은 크기로 스케일링 다운한 상기 이미지인 터빈 블레이드 열화 진단 방법.
  5. 제 4항에 있어서, 상기 제1 인공신경망 모델을 구축하는 단계는, 상기 수집된 이미지 내에서 주요부를 판독하는 단계, 상기 주요부를 박스 형태로 감싸는 바운딩 박스(Bounding Box)를 출력하는 단계, 그리고 상기 제1 인공신경망 모델에 상기 바운딩 박스를 입력하면, 상기 열화를 정확하게 컨투어링 하여 출력하는 상기 주요부 검출로 레이블링 데이터를 출력하는 단계 를 포함하는 터빈 블레이드 열화 진단 방법.
  6. 삭제
  7. 제 1항에 있어서, 상기 이미지 보정 단계는, 상기 컨투어링 된 출력이 기설정된 열화 부위에 해당하지 않는 오류가 발생한 경우 상기 컨투어링 부위를 수정하는 단계, 및 상기 보정된 이미지를 저장하는 단계 를 포함하는 터빈 블레이드 열화 진단 방법.
  8. 제 1항에 있어서, 상기 제2 인공신경망 모델을 학습시키는 단계에서, 상기 제2 인공신경망 모델은 U2-Net 구조를 가지고 상기 제2 인공신경망 모델에 복수의 클래스 채널을 포함하는 제2 이미지를 입력하여 의미 분할(Semantic Segmentation)할 상기 열화의 종류를 상기 각각의 클래스 채널로 나누어 상기 제2 인공신경망을 학습시키는 터빈 블레이드 열화 진단 방법.
  9. 제 8항에 있어서, 상기 터빈 블레이드의 열화를 예측하는 단계는, 상기 제2 이미지를 획득하는 이미지 획득 단계, 서버 또는 로컬 디바이스에서 상기 제2 인공신경망 모델에 상기 제2 이미지를 입력하여 열화 여부 결과를 취득하는 결과취득 단계, 그리고 상기 열화 여부를 판독하여 저장하는 단계를 저장하는 단계를 포함하는 터빈 블레이드 열화 진단 방법.
  10. 스마트폰으로 터빈 블레이드를 촬영하여 수집한 제1 이미지를 스케일링 다운하여 학습 데이터 셋으로 저장하는 이미지 수집부, 상기 학습 데이터 셋으로 학습하여 제1 인공신경망 모델을 구축하고 레이블 데이터를 출력하는 학습 데이터 구축부, 상기 이미지 수집부와 상기 학습 데이터 출력부의 이미지를 분산 저장하고, 상기 제1 인공신경망 모델의 학습 과정을 패키지화하는 데이터 관리부, 및 상기 레이블 데이터를 제2 인공신경망 모델의 레이블로 하여 상기 제2 인공신경망 모델을 학습시키고, 상기 터빈 블레이드의 열화를 예측하는 인공지능 학습부를 포함하고, 상기 제1 인공신경망 모델을 구축하는 학습 데이터 구축부에서, 상기 제1 인공신경망에 상기 학습 데이터 셋을 입력하는 입력부, 상기 학습 데이터 셋에 포함된 상기 제1 이미지에 포함된 QR코드를 인식하는 인식부, 상기 QR코드의 기울어짐 데이터로 상기 제1 이미지를 보정하는 보정부, 보정된 상기 제1 이미지에 하기의 수식을 만족하는 호모그래피 변환을 하는 변환부, 그리고 상기 변환으로 열화 부위를 정확하게 컨투어링 하는 상기 학습 데이터 구축부의 제1 이미지 중요 물체 검출부를 포함하고, u 및 v는 변환 전의 이미지의 열화 부위 좌표, H 행렬은 상기 QR코드의 기울어짐을 보정하기 위한 좌표 변환 행렬, u’ 및 v’는 보정 후 정확한 열화 부위의 좌표인, 터빈 블레이드 열화 진단 시스템.
  11. 제 10항에 있어서, 상기 이미지 수집부에서, 상기 이미지는 분산 저장되고, 상기 이미지들의 해상도는 1024(pixel) x 1024(pixel) 이상인 터빈 블레이드 열화 진단 시스템.
  12. 제 11항에 있어서, 상기 제1 인공신경망의 상기 이미지 수집부에서, 상기 이미지의 높이와 상기 이미지의 폭이 실질적으로 동일하고, 상기 이미지는 상기 터빈 블레이드 표면에 QR코드가 부착된 터빈 블레이드 열화 진단 시스템.
  13. 제 11항에 있어서, 상기 학습 데이터 구축부에서, 상기 제1 인공신경망 모델은 U2-net이고, 상기 학습 데이터 셋은 기저장된 이미지와 서로 다른 상기 해상도를 가지고 수집된 상기 이미지들을 상기 제1 이미지들 중 가장 작은 크기로 각각의 이미지를 스케일링 다운한 상기 이미지인 터빈 블레이드 열화 진단 시스템.
  14. 제 13항에 있어서, 상기 학습 데이터 구축부에서, 상기 수집된 이미지 내에서 이미지 중요 물체 검출부는, 상기 중요 물체로 판독된 주요부를 박스 형태로 감싸는 바운딩 박스(Bounding Box)를 출력부, 상기 제1 인공신경망 모델에 상기 바운딩 박스를 입력하여 상기 열화를 정확하게 컨투어링 하여 상기 주요부 검출로 레이블링 데이터를 출력하는 출력부 를 더 포함하는 터빈 블레이드 열화 진단 시스템.
  15. 삭제
  16. 제 10항에 있어서, 상기 보정부는, 상기 컨투어링 된 출력이 기설정된 열화 부위에 해당하지 않는 오류가 발생한 경우 컨투어링 부위를 보정하는 보정부, 및 상기 보정부의 출력 데이터를 저장하는 저장부 를 포함하는 터빈 블레이드 열화 진단 시스템.
  17. 제 10항에 있어서, 상기 데이터 관리부의 데이터 분산 저장부는, 상기 촬영한 제1 이미지 데이터와 레이블링 데이터를 하나의 데이터로 생성하는 데이터 직렬화부 및 하둡 분산 파일 시스템(HDFS, Hadoop Distributed File System)구조에 상기 수집된 제1 이미지를 분산 저장하는 분산 데이터 저장부 를 포함하는 터빈 블레이드 열화 진단 시스템.
  18. 제 10항에 있어서, 상기 인공지능 학습부의 심층신경망 학습부에서 제2 인공신경망 모델 학습부는, U2-Net 구조를 가진 상기 인공신경망에 복수개의 클래스 채널을 포함한 제2 이미지를 입력하여 의미 분할(Semantic Segmentation)할 상기 열화의 종류를 상기 각각의 클래스 채널로 나누어 상기 제2 인공신경망을 학습시키는 상기 제2 인공신경망 모델 학습부 를 포함하는 터빈 블레이드 열화 진단 시스템.
  19. 제 10항에 있어서, 상기 인공지능 학습부의 열화 진단 운영부는, 제2 이미지를 획득하는 제2 이미지 획득부, 서버 또는 로컬 디바이스에서 제2 인공신경망 모델에 상기 제2 이미지를 입력하여 열화 여부 결과를 취득하는 결과취득부, 및 상기 열화 여부 결과 및 열화 판단 결과를 저장하는 결과 저장 및 판단부 를 포함하는 터빈 블레이드 열화 진단 시스템.

Description

스마트폰을 이용한 터빈 블레이드 열화 진단 방법 및 시스템{METHOD AND SYSTEM FOR DIAGNOSING DETERIORATION OF TURBINE BLADES USING A SMARTPHONE} 본 발명은 스마트폰을 이용한 터빈 블레이드 열화 진단 장치 및 방법에 관한 것으로써, 스마트폰을 통해 촬영한 사진을 인공신경망의 입력으로 하여 터빈 블레이드의 열화를 진단할 수 있는 방법 및 장치에 관한 것이다. 종래에는 터빈의 열화를 진단하기 위한 기존의 기술이나 상용 프로그램을 이용하는 방법은 설비의 측정값과 설계치 대비 성능 저하를 정량적으로 분석하는 기술을 활용하였다. 따라서, 점검자가 각 설비의 상태를 줄자 등을 이용해 수작업으로 직접 측정하였다. 특히, 미세한 손상으로 인하여 발생하는 표면 ‘조도 불량’ 같은 경우에는 국제적으로 통용되는 비교표를 사용한다. 그래서 작업자가 시각과 촉감을 이용한 주관적 해석에 의해 비교하고 판단하는 문제점이 존재하였다. 도 1은 스마트폰을 이용한 터빈 블레이드 열화 진단 시스템의 전체 구성에 대한 개략도이다. 도 2는 도 1의 학습 데이터 구축부의 인공지능 레이블링 보조부 시스템, 인공지능 레이블링 보조 시스템 및 모델 및 데이터 관리부 및 데이터 분산 저장부 구성의 개략도이다. 도 3은 도 2의 분산 데이터를 저장하는 시스템의 구조도이다. 도 4는 도 1의 인공지능 학습부의 심층신경망 학습부에서 사용되는 U2 - Net 구조의 개략도이다. 도 5는 클래스를 분할하여 열화를 분석하는 학습 구조에 대한 개략도이다. 도 6은 도 1의 인공지능 학습부의 열화 진단 운영부 구조 개략도이다. 도 7은 스마트폰을 이용한 터빈 블레이드 열화 진단 방법의 개략도이다. 도 8은 본 발명의 일 실시예로, 열화 영역 계산을 위한 보정작업의 예시이다. 도 9는 본 발명의 일 실시예로, 표면 조도에 따른 거칠기 비교의 예시이다. 아래에서는 첨부한 도면을 참고로 하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 명세서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 네트워크를 구성하는 장치들은 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 명세서에 기재된 "……부", "……기", "……모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 본 발명에서 설명하는 장치들은 적어도 하나의 프로세서, 메모리 장치, 통신 장치 등을 포함하는 하드웨어로 구성되고, 지정된 장소에 하드웨어와 결합되어 실행되는 프로그램이 저장된다. 하드웨어는 본 발명의 방법을 실행할 수 있는 구성과 성능을 가진다. 프로그램은 도면들을 참고로 설명한 본 발명의 동작 방법을 구현한 명령어(instructions)를 포함하고, 프로세서와 메모리 장치 등의 하드웨어와 결합하여 본 발명을 실행한다. 본 명세서에서 "전송 또는 제공"은 직접적인 전송 또는 제공하는 것뿐만 아니라 다른 장치를 통해 또는 우회 경로를 이용하여 간접적으로 전송 또는 제공도 포함할 수 있다. 본 명세서에서 단수로 기재된 표현은 "하나" 또는 "단일" 등의 명시적인 표현을 사용하지 않은 이상, 단수 또는 복수로 해석될 수 있다. 본 명세서에서, 제1, 제2 등과 같이 서수를 포함하는 용어들은 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 본 명세서에서 도면을 참고하여 설명한 흐름도에서, 동작 순서는 변경될 수 있고, 여러 동작들이 병합되거나, 어느 동작이 분할될 수 있고, 특정 동작은 수행되지 않을 수 있다. 도 1은 스마트폰을 이용한 터빈 블레이드 열화 진단 시스템의 전체 구성에 대한 개략도이다. 도 1은 본 발명의 일 실시예에 따른 스마트폰을 이용한 터빈 블레이드 열화 진단 시스템으로 단지 본 발명을 예시하기 위한 것이며, 본 발명이 여기에 한정되는 것은 아니다. 따라서, 도 1의 방법을 다르게 변형할 수 있다. 도 1을 참조하면, 영상 수집부(10), 학습 데이터 구축부(20), 데이터 관리부(30) 및 인공지능 학습부(40)를 포함한다. 그리고 각 시스템은 세분화된 내부 구성을 포함한다. 영상 수집부(10)는 이미지 데이터 수집부(110)와 저해상도 데이터 수집부(120)를 포함한다. 영상 수집부(10)의 이미지 데이터 수집부(110)는 작업자가 고해상도로 촬영한 열화 영역을 새로운 데이터로 수집한다. 그리고 저해상도 데이터 수집부(120)는 기존의 작업자들이 수집하여 저장한 데이터를 가공한 후, 가공 이미지를 추출하는 방식으로 이루어진다. 좀 더 상세하게 이미지 데이터 수집부(110)는 설비에 부착되어 있는 큐알코드(QR Code)인 마커(1000)를 열화 부위와 함께 촬영하여 설비에 발생한 열화의 크기, 위치를 특정한다. 이미지의 해상도는 1024 * 1024 이상이고 1:1 비율을 가진다. 고해상도로 특정된 열화 부위는 인공신경망의 검증을 통하여 실측 크기와 동일한 크기를 출력한다. 그리고, 저해상도 데이터 수집부(120)는 기촬영되어 수집된 데이터를 확보한다. 그리고 확보된 데이터를 가공하고 추출한다. 일례로, 다양한 해상도와 다양한 포맷으로 가공되어 기설정된 기준에 의하여 추출된다. 추출된 데이터들은 인공신경망의 학습 데이터 셋이 된다. 이미지 데이터 수집부(110)와 저해상도 데이터 수집부(120)의 데이터들은 학습 데이터 구축부(20)의 인공지능 레이블링 보조부(130)로 전송된다. 인공지능 레이블링 보조부(130)는 도 2에서 상세하게 설명한다. 데이터 관리부(30)는 데이터 분산 저장부(140), 모델 학습 지원부(150) 및 모델 형상 관리부(160)를 포함한다. 데이터 분산 저장부(140)에서는 이미지 데이터와 인공지능 레이블링 보조부에서 출력된 레이블링 데이터가 기설정된 시스템을 통하여 분산 저장된다. 그리고 데이터 분산 저장에 관한 것은 도 2에서 좀 더 상세하게 설명한다. 모델 학습 지원부(150)에서는 딥 러닝 모델을 학습시킨다. 딥 러닝 모델의 학습을 위해서 모델의 구성, 하이퍼 파라미터 조정, 입력 파이프라인 설계 등의 요소들, 다중 클러스터 환경에서의 학습 및 검증 등을 패키지화한다. 그리고 패키지화 되어 있는 딥 러닝 모델 학습 방법은 효율적으로 모델을 학습시킨다. 그리고 모델 학습 지원부(150)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 쉽게 이해할 수 있으므로, 이 부분에 대한 상세한 설명은 생략한다. 모델 형상 관리부(160)는 학습된 모델의 평가 및 운영을 관리한다. 일례로 텐서플로 2(Tensor flow 2), 파이토치(PyTorch)로 작성된 딥러닝 모델의 경우 클러스터에서 추론작업을 수행하는 것에 제약이 많다. 하지만 모델 형상 관리부는 제약 조건들에 따라 딥 러닝 모델을 관리하고 추론작업을 수행할 수 있도록 지원한다. 즉 모델 성능의 정량적 평가와 운영을 지원한다. 그리고 모델 형상 관리부(160)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 쉽게 이해할 수 있으므로, 이 부분에 대한 상세한 설명은 생략한다. 인공지능 학습부(40)는 심층신경망 학습부(170)와 열화 진단 운영부(180)를 포함한다. 심층신경망 학습부(170)는 후술할 도 4에서 상세히 설명한다. 그리고 열화 진단 운영부(180) 또한 도 5에서 상세히 설명한다. 도 2는 도 1의 학습 데이터 구축부(20)의 인공지능 레이블링 보조부(130) 시스템, 인공지능 레이블링 보조 시스템 및 모델 및 데이터 관리부의 데이터 분산 저장부(140) 구성의 개략도이다. 도 2는 본 발명의 일 실시예에 따른 스마트폰을 이용한 터빈 블레이드 열화 진단 시스템으로 단지 본 발명을 예시하기 위한 것이며, 본 발명이 여기에 한정되는 것은 아니다. 따라서, 도 2의 방법을 다르게 변형할 수 있다. 도 2를 참조하면, 인공지능 레이블링 보조부는 이미지 중요 물체 검출단계(s201)와 보정 작업단계(s202)를 포함한다. 이미지 중요 물체 검출부(s201)는 중요 객체 검출(Saliency Object Detection) 기술을 적용한다. 좀 더 상세하게는 이미지 수집부의 저해상도 데이터 수집부에서 수집하여 가공 및 추출을 마친 이미지로 모델을 학습한다. 그리고 학습된 모델을 통해 설비 경계(Bounding Box)를 출력하여 열화 영역을 예측하는 이미지 마스크(Image Mask) 레이블링 보조 시스템이다. 보정 작업단계(s202)는 중요 물체 검출부의 출력인 설비 경계를 보정하는 작업을 의미한다. 다음은 레이블링 보조 방법을 좀 더 상세하게 알아본다. 다음은 인공신경망 레이블링 보조 방법 구성의 개략도이다. 도 2를 참조하면, 설비 이미지 수집 단계(s301)에서 작업자 또는 기타 방식을 통하여 설비의 열화 이미지를 수집한다. 그리고 저해상도 이미지 데이터 셋을 통해 학습된 모델에 수집된 열화 이미지를 입력한다. 그러면 모델에 의해 바운딩 박스(Bounding Box) 레이블링(s302) 단계가 수행된다. 바운딩 박스(Bounding Box) 레이블링(s302)은 인공신경망에서 입력된 설비 이미지에서 열화가 일어난 부위를 판단하고 열화 판단 후 해당 부위를 박스로 감싸는 것이다. 설비 이미지는 바운딩 박스(Bounding Box) 레이블링(s302)이 완료된 후에, 레이블