Search

KR-20260060623-A - Concrete damage inspection system and method using generative AI, and recording medium recording a computer-readable program for executing the method

KR20260060623AKR 20260060623 AKR20260060623 AKR 20260060623AKR-20260060623-A

Abstract

생성형 AI를 이용한 콘크리트 손상 점검 시스템은 예측영상 생성부, 리얼 훈련부, 생성형 AI 기반 영상 생성부, 수도 훈련부, 및 손상 탐지부를 포함한다. 예측영상 생성부는 콘크리트의 손상영상으로부터 예측영상을 각각 생성하는 복수의 신경망을 포함하고, 리얼 훈련부는 손상영상에 대응하는 라벨영상을 이용하여 예측영상 생성부를 훈련하고, 생성형 AI 기반 영상 생성부는 문자열을 입력받아 대응하는 콘크리트의 손상영상을 생성하고, 수도 훈련부는 동일한 문자열에 대해 생성형 AI 기반 영상 생성부에서 생성된 손상영상을 예측영상 생성부로 제공하고, 복수의 신경망으로부터 생성된 예측영상을 각각 서로 다른 신경망의 라벨영상으로 설정하여 예측영상 생성부를 훈련하며, 손상 탐지부는 예측영상 생성부를 이용하여 콘크리트 영상으로부터 손상을 탐지한다.

Inventors

  • 심승보
  • 김영진
  • 박형모

Assignees

  • 한국건설기술연구원
  • 주식회사 라스트마일

Dates

Publication Date
20260506
Application Date
20241025

Claims (13)

  1. 콘크리트의 손상영상으로부터 예측영상을 각각 생성하는 복수의 신경망을 포함하는 예측영상 생성부; 상기 손상영상에 대응하는 라벨영상을 이용하여 상기 예측영상 생성부를 훈련하는 리얼 훈련부; 문자열을 입력받아 대응하는 콘크리트의 손상영상을 생성하는 생성형 AI 기반 영상 생성부; 동일한 문자열에 대해 상기 생성형 AI 기반 영상 생성부에서 생성된 손상영상을 상기 예측영상 생성부로 제공하고, 상기 복수의 신경망으로부터 생성된 예측영상을 각각 서로 다른 신경망의 라벨영상으로 설정하여 상기 예측영상 생성부를 훈련하는 수도 훈련부; 및 상기 예측영상 생성부를 이용하여 콘크리트 영상으로부터 손상을 탐지하는 손상 탐지부를 포함하는 것을 특징으로 하는 생성형 AI를 이용한 콘크리트 손상 점검 시스템.
  2. 청구항 1에 있어서, 상기 예측영상 생성부는 제 1 신경망 및 제 2 신경망을 포함하고, 상기 수도 훈련부는 상기 제 1 신경망에서 생성된 제 1 예측영상을 상기 제 2 신경망에 대한 라벨영상으로 설정하고, 상기 제 2 신경망에서 생성된 제 2 예측영상을 상기 제 1 신경망에 대한 라벨영상으로 설정하는 것을 특징으로 하는 생성형 AI를 이용한 콘크리트 손상 점검 시스템.
  3. 청구항 2에 있어서, 상기 생성형 AI 기반 영상 생성부를 훈련하는 생성형 AI 기반 영상 생성 훈련부를 더 포함하고, 생성형 AI 기반 영상 생성 훈련부는, 문자열 및 상기 문자열에 대응하는 콘크리트의 손상영상을 저장하는 영상 데이터 저장부; 및 상기 영상 데이터 저장부에 저장된 데이터를 이용하여 미리 설정된 영상생성 모델을 파인튜닝하는 파인튜닝부를 포함하는 것을 특징으로 하는 생성형 AI를 이용한 콘크리트 손상 점검 시스템.
  4. 청구항 3에 있어서, 상기 콘크리트의 영상을 획득하는 콘크리트 영상 획득부를 더 포함하고, 상기 콘크리트 영상 획득부는 UWB 태그가 설치된 드론에 탑재된 영상 획득 장비를 이용하여 획득되는 것을 특징으로 하는 생성형 AI를 이용한 콘크리트 손상 점검 시스템.
  5. 청구항 4에 있어서, 상기 드론이 상기 UWB 태그에 대응하는 UWB 앵커가 설치된 위치에 따라 미리 설정된 경로를 통해 이동하도록 제어하는 경로 제어부를 더 포함하는 것을 특징으로 하는 생성형 AI를 이용한 콘크리트 손상 점검 시스템.
  6. 청구항 5에 있어서, 상기 드론은 거리 센서를 더 탑재하고, 상기 경로 제어부는 상기 드론이 터널 벽면으로부터 미리 설정된 거리만큼 이격되어 이동하도록 제어하는 것을 특징으로 하는 생성형 AI를 이용한 콘크리트 손상 점검 시스템.
  7. 생성형 AI를 이용한 콘크리트 손상 점검 시스템이 수행하는 생성형 AI를 이용한 콘크리트 손상 점검 방법으로서, 신경망을 이용하여 콘크리트의 손상영상으로부터 예측영상을 각각 생성하는 예측영상 생성 단계; 상기 손상영상에 대응하는 라벨영상을 이용하여 상기 신경망을 훈련하는 리얼 훈련 단계; AI 기반 영상 생성 모델을 이용하여 문자열을 입력받아 대응하는 콘크리트의 손상영상을 생성하는 생성형 AI 기반 영상 생성 단계; 동일한 문자열에 대해 상기 생성형 AI 기반 영상 생성 모델에서 생성된 손상영상을 상기 신경망으로 제공하고, 복수의 상기 신경망으로부터 생성된 예측영상을 각각 서로 다른 신경망의 라벨영상으로 설정하여 상기 복수의 신경망을 훈련하는 수도 훈련 단계; 및 상기 신경망을 이용하여 콘크리트 영상으로부터 손상을 탐지하는 손상 탐지단계를 포함하는 것을 특징으로 하는 생성형 AI를 이용한 콘크리트 손상 점검 방법.
  8. 청구항 7에 있어서, 상기 신경망은 제 1 신경망 및 제 2 신경망을 포함하고, 상기 수도 훈련 단계는 상기 제 1 신경망에서 생성된 제 1 예측영상을 상기 제 2 신경망에 대한 라벨영상으로 설정하고, 상기 제 2 신경망에서 생성된 제 2 예측영상을 상기 제 1 신경망에 대한 라벨영상으로 설정하는 것을 특징으로 하는 생성형 AI를 이용한 콘크리트 손상 점검 방법.
  9. 청구항 8에 있어서, 상기 생성형 AI 기반 영상 생성 모델을 훈련하는 생성형 AI 기반 영상 생성 훈련 단계를 더 포함하고, 생성형 AI 기반 영상 생성 훈련 단계는, 문자열 및 상기 문자열에 대응하는 콘크리트의 손상영상을 저장하는 영상 데이터 저장 단계; 및 상기 영상 데이터 저장 단계에 저장된 데이터를 이용하여 미리 설정된 영상생성 모델을 파인튜닝하는 파인튜닝 단계를 포함하는 것을 특징으로 하는 생성형 AI를 이용한 콘크리트 손상 점검 방법.
  10. 청구항 9에 있어서, 상기 콘크리트의 영상을 획득하는 콘크리트 영상 획득 단계를 더 포함하고, 상기 콘크리트 영상 획득 단계는 UWB 태그가 설치된 드론에 탑재된 영상 획득 장비를 이용하여 수행되는 것을 특징으로 하는 생성형 AI를 이용한 콘크리트 손상 점검 방법.
  11. 청구항 10에 있어서, 상기 드론이 상기 UWB 태그에 대응하는 UWB 앵커가 설치된 위치에 따라 미리 설정된 경로를 통해 이동하도록 제어하는 경로 제어 단계를 더 포함하는 것을 특징으로 하는 생성형 AI를 이용한 콘크리트 손상 점검 방법.
  12. 청구항 11에 있어서, 상기 드론은 거리 센서를 더 탑재하고, 상기 경로 제어 단계는 상기 드론이 터널 벽면으로부터 미리 설정된 거리만큼 이격되어 이동하도록 제어하는 것을 특징으로 하는 생성형 AI를 이용한 콘크리트 손상 점검 방법.
  13. 청구항 6 내지 청구항 12 중 어느 한 청구항의 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체.

Description

생성형 AI를 이용한 콘크리트 손상 점검 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 {Concrete damage inspection system and method using generative AI, and recording medium recording a computer-readable program for executing the method} 본 발명은 터널 안전 관련 기술에 관한 것으로서, 더욱 상세하게는 드론 및 생성형 AI를 활용하여 터널 풍도 공간 천장부의 손상을 점검하기 위한 시스템 및 방법에 관한 것이다. 도시화, 산업화 등 사회가 발전함에 따라 나날이 다양하고 복잡한 대규모 시설물이 증가하는 반면, 경제개발 시기에 건설된 시설물의 노후화가 진행되고 있다. 이에 따라, 검사 및 진단을 수행해야 할 시설물의 수는 증가하는 반면, 이를 수행할 수 있는 인력의 수는 감소하고 있어 유지관리 점검 능력이 저하되고, 신규 인력 감소 및 부족 현상으로 점검 인력의 공백이 발생하고 있다. 대표적인 예인 노후 터널의 경우 주요 점검 대상은 천장부이고. 천장부를 점검하는 방법은 터널 환기 방식에 따라 달라진다. 제트팬이 설치된 종류식 환기 시스템의 터널의 경우 고소작업차량을 이용해 작업자가 천장부에 접근하여 육안 점검을 수행하고, 덕트 슬래브가 설치된 횡류식 터널의 천장부 점검시 작업자가 풍도 공간에 진입하여 손상 점검을 수행한다. 하지만, 기존의 사다리차, 로프, 대형 차량 등을 통한 육안 점검 방법은 느리고, 균열의 정확한 위치를 추정하는데 문제가 있다. 또한, 작업자의 주관적 역량에 따라 손상정보를 육안으로 검출하기 때문에, 데이터가 부정확하고 이력관리가 어려운 실정이다. 최근, 다수의 고해상도 카메라가 탑재된 차량형 자동화 점검 시스템이 터널 표면 손상을 점검하기 위해 개발된 바 있으며, 터널 표면에 발생하는 손상을 차량 주행을 통해 점검하고 있다. 하지만, 고소작업 차량과 차량형 점검 자동화 시스템을 터널에 진입시켜 도로 차선을 점거하므로, 차량의 교통 흐름을 방해하는 요인으로 작용하여 인프라 사용의 불편 및 민원이 발생을 야기한다. 또한, 차량형 자동화 점검 시스템를 이용한 천장부 점검은 종류식 환기 시스템에만 적용이 가능하고, 풍도 공간 내부는 점검이 불가능하다. 또한, 풍도공간 내부는 비평탄 주행면이기 때문에 ground형 로봇이 주행할 수 없는 공간이고, 드론은 자기 위치를 인식할 수 없어 주행이 불가능한 상황이기 때문에, 현재까지 개발된 기술을 이용해 풍도 공간 내에 천장부를 자동으로 점검할 수 있는 기술이 없는 실정이다. 한편, 손상을 탐지하기 위한 신경망 모델을 개발하기 위해서는 다양한 훈련 데이터가 있어야 한다. 하지만, 콘크리트 손상 장면은 비정상 장면으로 흔히 관찰되지 않으며, 손상이 발생하더라도 교량과 고층 건축물 등과 같이 작업자가 접근하기 어려운 영역에 위치하기 때문에 손상 영상을 확보하는 데에는 많은 비용이 필요할 수 밖에 없다. 도 1은 본 발명의 일 실시예에 따른 생성형 AI를 이용한 콘크리트 손상 점검 시스템의 개략적인 블록도. 도 2는 본 발명의 전체 프로세스를 설명하기 위한 도면. 도 3은 문자열-영상 데이터 세트의 예를 도시한 도면이다. 도 4는 fine-tuning을 이용하여 생성 모델을 훈련하는 예를 도시한 도면. 도 5는 fine-tuning된 생성 모델을 이용하여 생성된 콘크리트 손상영상을 도시한 도면. 도 6은 리얼 훈련과 수도 훈련을 조합하여 신경망을 학습시키는 예를 도시한 도면. 도 7은 UWB 앵커에 의해 드론의 경로가 설정된 예가 도시된 도면. 도 8은 드론 제어 구성의 예를 도시한 도면. 도 9는 거리 센서에 기반하여 드론의 경로를 조정하는 예가 도시된 도면. 이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다. 도 1은 본 발명의 일 실시예에 따른 생성형 AI를 이용한 콘크리트 손상 점검 시스템의 개략적인 블록도이고, 도 2는 본 발명의 전체 프로세스를 설명하기 위한 도면이다. 도 1에서 생성형 AI를 이용한 콘크리트 손상 점검 시스템은 예측영상 생성부(110), 리얼 훈련부(120), 생성형 AI 기반 영상 생성부(130), 수도 훈련부(140), 손상 탐지부(150), 생성형 AI 기반 영상 생성 훈련부(160), 콘크리트 영상 획득부(170), 및 경로 제어부(180)를 포함한다. 또한, 생성형 AI 기반 영상 생성 훈련부(160)는 다시 영상 데이터 저장부(162), 파인튜닝부(164)를 포함한다. 예측영상 생성부(110)는 콘크리트의 손상영상으로부터 예측영상을 각각 생성하는 복수의 신경망을 포함하고, 리얼 훈련부(120)는 손상영상에 대응하는 라벨영상을 이용하여 예측영상 생성부(110)를 훈련한다. 생성형 AI 기반 영상 생성부(130)는 문자열을 입력받아 대응하는 콘크리트의 손상영상을 생성한다. 손상탐지 신경망 모델을 개발하기 위해서는 다양한 훈련 데이터가 있어야 한다. 하지만, 콘크리트 손상 장면은 비정상 장면으로 흔히 관찰되지 않는다. 또한, 손상이 발생하더라도 교량과 고층 건축물 등과 같이 작업자가 접근하기 어려운 영역에 위치하기 때문에 손상 영상을 확보하는 데에는 많은 비용이 필요할 수밖에 없다. 이러한 문제를 해결하기 위해서 생성형 AI를 이용해 실제와 매우 유사한 가상의 손상 영상을 합성하여 훈련 데이터의 수를 증강하는 방법을 제안하는 것이다. 생성형 AI 기반 영상 생성 훈련부(160)는 생성형 AI 기반 영상 생성부를 훈련한다. 이때, 영상 데이터 저장부(162)는 문자열 및 문자열에 대응하는 콘크리트의 손상영상을 저장하고, 파인튜닝부(164)는 영상 데이터 저장부(162)에 저장된 데이터를 이용하여 미리 설정된 영상생성 모델을 파인튜닝한다. 이와 같은 구성에 의하면, 대용량의 GPU나 메모리 없이, 소수의 훈련 데이터로도 거대 생성형 모델의 훈련이 가능해 진다. 보다 구체적으로, 생성형 AI를 활용하기 합성 영상 영상을 만들기 위해서는 문자열-영상 데이터 세트가 필요하다. 사람은 특정 단어를 들었을 때, 그에 해당하는 이미지를 연상할 수 있다. 이는 살아오면서 언어를 통해 교육받고 생각하는 과정을 수없이 익혀왔기 때문이다. 이러한 방식은 인공지능 분야에도 동일하게 구현될 수 있다. 따라서, 특정 문자열을 입력하면 그에 해당하는 영상을 얻을 수 있게 되었다. (예: stable diffusion model) 이러한 점을 활용하기 위해서는 손상 장면을 언어로 묘사하는 데이터가 필요하다. 이를 위해 본 발명에서는 도 3과 같이 문자열-영상 데이터 세트를 구축한다. 도 3은 문자열-영상 데이터 세트의 예를 도시한 도면이다. 도 3에서와 같이, 이와 같은 데이터 세트는 균열, 박락, 철근 노출과 같은 콘크리트 손상을 포함하고 있고, 다양한 콘크리트 재질로 구성되어 있다. 또한, 여러 각도에서 촬영되고 손상 주변에는 분필로 표기된 문자가 있다. 이러한 손상 장면에 대한 상세한 묘사를 통해 생성의 제어가 가능하게 된다. 다음으로, 이러한 훈련 데이터를 이용해 생성 모델에 대한 훈련이 필요하다. 하지만, 최근에 개발된 생성 모델은 초거대 모델로 수억 개의 모델 파라미터의 수를 가지고 있다. 이를 연산하기 위해서는 다수의 영상 데이터뿐만 아니라 고용량의 GPU 메모리가 필요하다. 또한, 재학습을 위해서는 대규모의 훈련 데이터가 필요하기 때문에 현실적으로 이러한 훈련을 보편적으로 수행하기에는 한계가 있다. 이를 해결하기 위해서 초거대 생성 모델을 목적 도메인에 적합하도록 fine-tuning 하는 방법을 사용할 수 있다. 원래의 생성 모델을 변경하지 않고 목적 대상을 생성하도록 하는 방법이다. 이는 소수의 훈련 데이터로도 가능할 뿐만 아니라 대용량의 GPU가 메모리도 필요하지 않아 현실적으로 구현 가능하다. 본 발명에서는 이러한 맥락에서 도 4에서와 같이 Low-Rank Adaptation (LoRA)기법을 적용한다. 원래의 재학습은 기저모델(W0) 전체를 학습하기 때문에 모델의 변화량(△W)을 발생시키지만, 이는 대용량의 메모리를 사용하기 때문에 이를 대신하여 소규모의 BA 행렬로 변화량을 대체하고자 한다. 다시 말해, 기저모델의 출력에 변화량을 더하여 목적 대상물을 합성하는 방식이다. 따라서 목적 대상을 정확히 생성하기 위한 변화량(BA)을 계산하기 위한 fine-tuning을 수행한다. 도 4는 fine-tuning을 이용하여 생성 모델을 훈련하는 예를 도시한 도면이다. 이런 방법을 통해서 fine-tuning된 생성 모델을 이용해 도 5와 같은 콘크리트 손상 영상을 합성할 수 있다. 도 5는 fine-tuning된 생성 모델을 이용하여 생성된 콘크리트 손상영상을 도시한 도면이다. 수도 훈련부(140)는 동일한 문자열에 대해 생성형 AI 기반 영상 생성부에서 생성된 손상영상을 예측영상 생성부로 제공하고, 복수의 신경망으로부터 생성된 예측영상을 각각 서로 다른 신경망의 라벨영상으로 설정하여 예측영상 생성부(110)를 훈련한다. 이때, 예측영상 생성부(110)는 제 1 신경망 및 제 2 신경망을 포함하고, 수도 훈련부(140)는 제 1 신경망에서 생성된 제 1 예측영상을 제 2 신경망에 대한 라벨영상으로 설정하고, 제 2 신경망에서 생성된 제 2 예측영상을 제 1 신경망에 대한 라벨영상으로 설정할 수 있다. 이와 같은 구성에 의하면, 라벨 영상이 존재하지 않는 경우에도, 새롭게 합성된 영상을 훈련에 참여시킬 수 있게 된다. 새롭게 합성된 영상을 훈련에 참여시키기 위해서는 라벨 영상이 있어야 하지만, 손상의 형태가 다양하게 생성되기 때문에 라벨 영상은 존재하지 않는다. 이러한 손상 영상을 훈련에 참여시키기 위해서 도 5와 같은 학습 구조를 사용한다. 이 구조는 동일한 두 개의 신경망이 서로 다른 데이터에 의해서 훈련되어 상호 보완적인 구조로 역할을 수행한다. 도 6은 리얼 훈련과 수도 훈련을 조합하여 신경망을 학습시키는 예를 도시한 도면이다. 이 학습 구조를 적용하기 위해서는 콘크리트 손상 영상과 라벨 영상이 모두 포함된 라벨 데이터 세트와 생성된 콘크리트 손상 영상만 있는 비라벨 데이터세트가 필요하다. 이 학습 구조는 두 단계