Search

KR-20260061934-A - METHOD FOR IDENTIFYING FAULTY DEVICE IN WATER TREATMENT FACILITY BY USING OPTICAL IMAGE AND THERMAL IMAGE

KR20260061934AKR 20260061934 AKR20260061934 AKR 20260061934AKR-20260061934-A

Abstract

고장 장치 식별 방법은 목표 장치를 촬영하는 광학 카메라와 열화상 카메라로부터, 광학 이미지와 열화상 이미지를 수신하는 단계; 상기 광학 이미지에 기초하여 상기 목표 장치에 대응하는 관심 영역과 나머지 배경 영역을 구분하는 단계; 상기 열화상 이미지에서 상기 배경 영역에 대응되는 부분을 제거하는 단계; 및 상기 배경 영역이 제거된 상기 열화상 이미지를 고장 감지 인공지능 모델에 입력함으로써 상기 목표 장치의 고장 여부를 식별하는 단계;를 포함한다.

Inventors

  • 서준영
  • 유기성
  • 이창호
  • 방진아

Assignees

  • 재단법인 포항산업과학연구원

Dates

Publication Date
20260506
Application Date
20241028

Claims (15)

  1. 목표 장치를 촬영하는 광학 카메라와 열화상 카메라로부터, 광학 이미지와 열화상 이미지를 수신하는 단계; 상기 광학 이미지에 기초하여 상기 목표 장치에 대응하는 관심 영역과 나머지 배경 영역을 구분하는 단계; 상기 열화상 이미지에서 상기 배경 영역에 대응되는 부분을 제거하는 단계; 및 상기 배경 영역이 제거된 상기 열화상 이미지를 고장 감지 인공지능 모델에 입력함으로써 상기 목표 장치의 고장 여부를 식별하는 단계;를 포함하는 고장 장치 식별 방법.
  2. 제1항에 있어서, 정상의 상기 목표 장치를 촬영함으로써 획득된 복수의 제1 열화상 이미지로부터 상기 배경 영역을 제거함으로써 제1 학습 데이터를 생성하는 단계; 고장 난 상기 목표 장치를 촬영함으로써 획득된 복수의 제2 열화상 이미지로부터 상기 배경 영역을 제거함으로써 학습 데이터를 생성하는 단계; 및 상기 제1 학습 데이터와 상기 제2 학습 데이터를 이용하여 상기 고장 감지 인공지능 모델을 학습시키는 단계;를 더 포함하는 고장 장치 식별 방법.
  3. 제1항에 있어서, 상기 고장 감지 인공지능 모델은, 상기 배경 영역이 제거된 상기 열화상 이미지로부터 검출되는 상기 목표 장치의 변위 값에 제1 가중치를 부여하고, 상기 배경 영역이 제거된 상기 열화상 이미지로부터 검출되는 상기 목표 장치의 온도 값에 제2 가중치를 부여하도록 학습된 고장 장치 식별 방법.
  4. 제1항에 있어서, 상기 목표 장치에 대응하는 영역과 상기 배경 영역을 구분하는 단계는, 사용자가 상기 광학 이미지에 대해 상기 목표 장치를 둘러싸는 상기 관심 영역을 설정하는 단계;를 포함하는 고장 장치 식별 방법.
  5. 제1항에 있어서, 상기 목표 장치에 대응하는 영역과 상기 배경 영역을 구분하는 단계는, 상기 광학 이미지를 객체 식별 인공지능 모델에 입력함으로써 상기 목표 장치에 대응하는 상기 관심 영역을 추출하는 단계;를 포함하는 고장 장치 식별 방법.
  6. 제1항에 있어서, 상기 열화상 이미지에서 상기 배경 영역에 대응되는 부분을 제거하는 단계는, 상기 광학 이미지의 영상 좌표계와 상기 열화상 이미지의 영상 좌표계를 매핑하는 단계; 상기 광학 이미지에서의 상기 관심 영역의 좌표를 결정하는 단계; 상기 결정된 상기 광학 이미지에서의 상기 관심 영역의 좌표를 상기 열화상 이미지에서의 목표 좌표로 변환하는 단계; 및 상기 열화상 이미지에서 상기 목표 좌표에 대응하는 데이터 값을 제거하는 단계;를 포함하는 고장 장치 식별 방법.
  7. 제1항에 있어서, 상기 목표 장치는, 집수조로 폐수를 펌핑하거나 상기 집수조에 저장된 폐수를 수처리 장치로 펌핑하는 펌프를 포함하는 고장 장치 식별 방법.
  8. 제7항에 있어서, 상기 목표 장치의 고장 여부를 식별하는 단계는, 상기 배경 영역이 제거된 상기 열화상 이미지를 상기 고장 감지 인공지능 모델에 입력함으로써 상기 펌프의 고장 여부를 식별하는 것;을 포함하고, 상기 고장 장치 식별 방법은, 상기 펌프의 동작 RPM과 관련된 데이터를 비정상 감지 인공지능 모델에 입력함으로써 상기 펌프의 고장 여부를 식별하는 단계;를 더 포함하는 고장 장치 식별 방법.
  9. 제8항에 있어서, 상기 고장 감지 인공지능 모델의 출력 값이 상기 펌프의 고장에 해당하고, 상기 비정상 감지 인공지능 모델의 출력 값이 상기 펌프의 비정상에 해당되는 것에 기초하여 상기 펌프가 고장 난 것으로 결정하는 단계;를 더 포함하는 고장 장치 식별 방법.
  10. 제8항에 있어서, 상기 펌프의 동작 RPM에 관한 데이터를 포함하는 상기 펌프의 동작 상태에 관한 데이터 세트를 획득하는 단계; 상기 데이터 세트로부터, 상기 펌프의 동작 RPM이 단계적으로 상승하다가 정지하는 동작 사이클과 연관된 데이터 집합을 식별하는 단계; 상기 데이터 세트로부터 상기 식별된 상기 데이터 집합을 크로핑하고, 상기 크로핑된 상기 데이터 집합을 정규화하고, 상기 정규화된 상기 데이터 집합을 리스케일링하는 제1 단계; 상기 데이터 세트로부터, 사전에 정의된 불필요한 파라미터를 포함하는 데이터를 삭제하는 제2 단계; 상기 데이터 세트로부터, 불필요한 데이터 값들의 집합을 식별하고, 상기 데이터 값들의 집합을 하나의 대표 값으로 변경하는 제3 단계; 및 상기 제1 단계, 상기 제2 단계 및 상기 제3 단계를 거친 상기 데이터 세트를 학습 데이터 세트로 이용하여 상기 비정상 감지 인공지능 모델을 학습시키는 단계;를 더 포함하는 고장 장치 식별 방법.
  11. 제7항에 있어서, 상기 집수조와 상기 수처리 장치와 상기 펌프를 포함하는 실제의 폐수처리 시설의 3D 모델링 이미지 또는 실사 이미지 중 적어도 하나에 기초하여 상기 폐수처리 시설에 대한 디지털 트윈 환경을 생성하는 단계; 상기 디지털 트윈 환경을 화면에 표시하는 단계; 및 상기 디지털 트윈 환경에서 상기 펌프가 선택된 것에 응답하여 상기 펌프의 고장 상태를 표시하는 단계;를 더 포함하는 고장 장치 식별 방법.
  12. 제11항에 있어서, 상기 디지털 트윈 환경을 상기 화면에 표시하는 단계는, 상기 펌프가 고장 난 것으로 식별되면, 상기 화면 상에서 상기 디지털 트윈 환경을 바라보는 시야를 상기 펌프가 위치한 곳으로 이동시키는 단계;를 포함하는 고장 장치 식별 방법.
  13. 제11항에 있어서, 상기 펌프가 고장 난 것으로 식별되면, 상기 펌프를 상기 디지털 트윈 환경에 존재하는 다른 장치들과 구별되도록 표시하는 단계;를 더 포함하는 고장 장치 식별 방법.
  14. 제7항에 있어서, 상기 집수조와 상기 수처리 장치와 상기 펌프를 포함하는 실제의 폐수처리 시설의 3D 모델링 이미지 또는 실사 이미지 중 적어도 하나에 기초하여 상기 폐수처리 시설에 대한 디지털 트윈 환경을 생성하는 단계; 상기 디지털 트윈 환경을 화면에 표시하는 단계; 상기 펌프가 고장 난 것으로 식별되면, 상기 화면에 상기 펌프의 고장을 알리는 인디케이터를 출력하는 단계; 및 상기 인디케이터가 선택된 것에 응답하여 상기 화면 상에서 상기 디지털 트윈 환경을 바라보는 시야를 상기 펌프가 위치한 곳으로 이동시키는 단계;를 더 포함하는 고장 장치 식별 방법.
  15. 고장 장치를 식별하기 위한 적어도 하나의 인스트럭션을 저장하는 저장 매체에 있어서, 상기 적어도 하나의 인스트럭션은, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금, 목표 장치를 촬영하는 광학 카메라와 열화상 카메라로부터, 광학 이미지와 열화상 이미지를 수신하고, 상기 광학 이미지에 기초하여 상기 목표 장치에 대응하는 관심 영역과 나머지 배경 영역을 구분하고, 상기 열화상 이미지에서 상기 배경 영역에 대응되는 부분을 제거하고, 상기 배경 영역이 제거된 상기 열화상 이미지를 고장 감지 인공지능 모델에 입력함으로써 상기 목표 장치의 고장 여부를 식별하도록 하는, 저장 매체.

Description

광학 이미지와 열화상 이미지를 이용하여 폐수처리 시설의 고장 장치를 식별하는 방법{METHOD FOR IDENTIFYING FAULTY DEVICE IN WATER TREATMENT FACILITY BY USING OPTICAL IMAGE AND THERMAL IMAGE} 본 발명은 광학 이미지와 열화상 이미지를 모두 이용하여 폐수처리 시설의 고장 장치를 식별하는 방법에 관한 것이다. 폐수처리 시설은 다양한 종류의 폐수처리 설비를 포함하고 있는데, 각각의 폐수처리 설비 중 어느 하나가 비정상적으로 동작하는 경우 폐수처리 설비에 의해 처리되는 처리수의 수질이 원하는 만큼 개선되지 않을 수 있다. 작업자는 정기적인 샘플링과 분석에 의존하여 폐수처리 설비에 의해 처리되는 처리수의 수질을 확인하고, 그 결과에 따라 폐수처리 설비를 유지보수하거나 제어한다. 그러나 이러한 방식은 폐수처리 설비에 의해 처리되는 처리수의 수질 변화를 즉각적으로 반영하지 못하며, 샘플링 주기 사이에 발생하는 예기치 못한 오염이나 이상 상태를 놓칠 가능성이 크다. 결과적으로, 긴급한 문제가 발생했을 때 즉각적인 대응이 어려워지고, 심각한 경우 설비의 손상이나 막대한 유지 보수 비용이 발생할 수 있다. 따라서, 실시간으로 수질을 예측할 수 있는 효율적인 방법이 부재한 상황에서는 폐수처리 설비의 안정성과 효율성을 보장하기 어렵다. 이로 인해 수질 변화에 대한 빠르고 적절한 대응이 어려워, 궁극적으로는 설비의 전반적인 운영 신뢰성에 부정적인 영향을 미치게 된다. 도 1은 일 실시예에 따른 폐수처리 시설 모니터링 방법의 일 예를 도시한 순서도이다. 도 2는 일 실시예에 따른 폐수처리 시설에 대한 디지털 트윈 환경 이미지를 포함하는 인터페이스의 일 예를 도시한다. 도 3은 일 실시예에 따른 폐수처리 설비 중에서 생물학적 폐수처리 장치가 선택된 경우 인터페이스에 표시되는 데이터의 일 예를 도시한다. 도 4는 일 실시예에 따른 폐수처리 설비 중에서 특정 센서가 선택된 경우 인터페이스에 표시되는 데이터의 일 예를 도시한다. 도 5는 일 실시예에 따른 인터페이스에 표시되는 경고 알림의 일 예를 도시한다. 도 6은 일 실시예에 따른 인터페이스에 표시되는 경고 알림의 다른 예를 도시한다. 도 7은 일 실시예에 따른 인터페이스에 표시되는 경고 알림의 또 다른 예를 도시한다. 도 8은 일 실시예에 따른 생물학적 폐수처리 공정의 결과를 예측하는 방법의 일 예를 도시한 순서도이다. 도 9는 일 실시예에 따른 생물학적 폐수처리 공정의 결과를 예측하는 방법이 복수의 인공지능 모델에 의해 수행되는 모습을 도시한 모식도이다. 도 10은 일 실시예에 따른 생물학적 폐수처리 공정의 결과를 예측하는 방법에 사용되는 복수의 인공지능 모델의 학습 방법의 일 예를 도시한 순서도이다. 도 11은 폐수 처리 시뮬레이터를 이용하여 실제의 폐수처리 시설과 대응하는 공정 모델을 모델링한 모습의 일 예를 도시한다. 도 12는 폐수 처리 시뮬레이터를 이용하여 획득된 학습용 시뮬레이션 데이터의 일 예를 도시한다. 도 13은 일 실시예에 따른 학습용 시뮬레이션 데이터를 전처리하는 방법의 일 예를 도시한 순서도이다. 도 14는 일 실시예에 따른 학습용 시뮬레이션 데이터에 포함된 변수들 중에서 시간의 흐름과 무관하게 상수 값을 갖는 불필요한 변수의 예를 도시한다. 도 15는 일 실시예에 따른 학습용 시뮬레이션 데이터에 포함된 변수들간의 상관 관계가 분석된 분석표의 일 예를 도시한다. 도 16은 일 실시예에 따른 학습용 시뮬레이션 데이터에 포함된 변수들 중에서 최대/최소 정규화가 필요한 변수를 설명하기 위한 도면이다. 도 17은 일 실시예에 따른 폐수처리 시설 모니터링 방법에 있어서, 광학 이미지에 기초하여 화재를 감지하는 방법의 일 예를 도시한 순서도이다. 도 18은 일 실시예에 따른 연기 감지 인공지능 모델에 광학 이미지가 입력된 경우의 출력 이미지의 일 예를 도시한다. 도 19는 일 실시예에 따른 폐수처리 시설 모니터링 방법에 있어서, 열화상 이미지에 기초하여 화재를 감지하는 방법의 일 예를 도시한 순서도이다. 도 20은 일 실시예에 따른 열화상 이미지에서 타겟 픽셀들이 식별된 모습의 일 예를 도시한다. 도 21은 일 실시예에 따른 폐수처리 시설 모니터링 방법에 있어서, 광학 이미지 및 열화상 이미지에 기초하여 화재를 감지하는 방법의 일 예를 도시한 순서도이다. 도 22는 일 실시예에 따른 폐수처리 시설의 고장 장치 식별 방법에 있어서, 광학 이미지 및 열화상 이미지에 기초하여 목표 장치의 고장을 감지하는 방법의 일 예를 도시한 순서도이다. 도 23은 일 실시예에 따른 폐수처리 시설의 고장 장치 식별 방법에 의해 배경 영역이 제거된 열화상 이미지가 획득되는 모습의 일 예를 도시한 모식도이다. 본 문서에 기재된 실시예와 도면에 도시된 구성은 개시된 발명의 바람직한 일 예에 불과할 뿐이며, 본 출원의 출원시점에 있어서 본 명세서의 실시예와 도면을 대체할 수 있는 다양한 변형 예들이 있을 수 있다. 본 문서에서 사용한 용어는 실시예를 설명하기 위해 사용된 것으로, 개시된 발명을 제한 및/또는 한정하려는 의도가 아니다. 예를 들어, 본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재된 구성요소들의 조합 또는 복수의 관련된 기재된 구성요소들 중의 어느 구성요소를 포함한다 예를 들어, "A 및/또는 B"는 "A"만을 포함할 수도 있고, "B"만을 포함할 수도 있고, "A 및 B"를 모두 포함할 수도 있다. 또한, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들의 조합이 존재함을 표현하고자 하는 것이며, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들의 조합의 추가적인 존재 또는 부가 가능성을 배제하지 않는다. 어떤 구성요소가 다른 구성요소와 "연결", "결합", "지지" 또는 "접촉"되어 있다고 할 때, 이는 구성요소들이 직접적으로 연결, 결합, 지지 또는 접촉되는 경우뿐 아니라, 제3 구성요소를 통하여 간접적으로 연결, 결합, 지지 또는 접촉되는 경우를 포함한다. 어떤 구성요소가 다른 구성요소 "상에" 위치하고 있다고 할 때, 이는 어떤 구성요소가 다른 구성요소에 접해 있는 경우뿐 아니라 두 구성요소 사이에 또 다른 구성요소가 존재하는 경우도 포함한다. 한편, 하기의 설명에서 사용된 용어 "전", "후", "좌", "우", "상", "하" 등은 도면을 기준으로 정의한 것이며, 다만, 상기 용어에 의하여 각 구성요소의 형상 및 위치가 제한되는 것은 아니다. 예를 들어, 전측을 +X 측으로 정의하고, 후측을 -X 측으로 정의할 수 있다. 예를 들어, 도면을 기준으로, 우측을 +Y 측으로 정의하고, 좌측을 -Y 측으로 정의할 수 있다. 예를 들어, 도면을 기준으로, 상측을 +Z 측으로 정의하고, 하측을 -Z 측으로 정의할 수 있다. 또한, "제1", "제2" 등과 같이 서수를 포함하는 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위하여 사용되며, 하나의 구성요소들을 한정하지 않는다. 또한, "~부", "~기", "~블록", "~부재", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어, 용어들은 FPGA (field-programmable gate array)/ ASIC (application specific integrated circuit) 등 적어도 하나의 하드웨어, 메모리에 저장된 적어도 하나의 소프트웨어 또는 프로세서에 의하여 처리되는 적어도 하나의 프로세스를 의미할 수 있다. 이하에서는 첨부한 도면을 참조하여 개시된 발명의 일 실시예가 상세하게 설명된다. 첨부된 도면에서 제시된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낼 수 있다. 이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다. 본 발명에서, 폐수처리 시설(facility)은 복수의 수처리 설비(equipment)를 포함하는 시설을 의미할 수 있다. 복수의 수처리 설비는 수처리 공정을 수행하기 위한 다양한 장치들을 포함할 수 있다. 예를 들어, 수처리 설비는 복수의 수처리 장치, 수처리 장치들간의 물의 이동을 위한 복수의 펌프, 수처리 장치간 연결된 유로를 개폐하는 복수의 밸브, 수처리 설비와 관련된 다양한 데이터를 수집하는 센서들을 포함할 수 있다. 본 발명에서, 수처리는 물의 화학적인 처리 뿐만 아니라 물의 생물학적인 처리, 물의 물리적인 처리를 포함할 수 있다. 수처리 장치는 폐수를 저장하는 집수조를 포함할 수 있다. 집수조는 수처리 공정에 앞서 폐수를 균등/균질화할 수 있다. 수처리 장치는 고속 정수 장치(Quick Clarifier; QCF)를 포함할 수 있다. 고속 정수 장치는 비중이 높은 물 속의 고형물을 중력을 이용하여 침전시켜 맑은 물과 고형물을 분리하는 수처리 공정을 수행할 수 있다. 수처리 장치는 스트리핑 장치(Stripper)를 포함할 수 있다. 스티리핑 장치는 물로부터 기체(예: 이산화탄소, 황화수소, 암모니아 등)를 제거하는 수처리 공정을 수행할 수 있다. 수처리 장치는 유수분리기(Oil-Water spearator)를 포함할 수 있다. 유수 분리기는 물과 기름을 분리하는 수처리 공정을 수행할 수 있다. 유수 분리기를 통해, 작업자는 물과 기름을 분리한 후 기름을 별도 저장조에 저장 후 폐기물 처리할 수 있다. 수처리 장치는 pH 조정조를 포함할 수 있다. pH 조정조는 물의 pH 값을 조절하는 수처리 공정을 수행할 수 있다. pH 조정조에서 물에 산(예: 황산, 염산)이나 알칼리(예: 수산화나트륨, 수산화칼슘) 등의 화학 물