Search

KR-20260060842-A - Complex Real-Time Ship Surveillance System and Method

KR20260060842AKR 20260060842 AKR20260060842 AKR 20260060842AKR-20260060842-A

Abstract

본 발명의 복합 실시간 선박 감시 시스템은, 실화상 카메라가 생성한 실화상 영상과, 열화상 카메라가 생성한 열화상 영상으로부터, 영상에 포함되는 것으로 인식된 영상내 객체(예: 선박 객체)에 대한 클래스와 확률값을 도출하는 복합 영상 처리부; 레이더 장치의 반응 감지 신호로부터, 신호 반응 객체에 대한 클래스와 확률값을 도출하는 레이더 검출 신호 처리부; 상기 실화상 영상 및 상기 열화상 영상 중 하나 이상과 상기 반응 감지 신호를 분석하여, 상기 영상내 객체와 상기 신호 반응 객체의 매칭쌍을 확인하는 융합처리부; 매칭쌍 관계의 영상내 객체 및 신호 반응 객체 각각의 클래스들과 확률값들을 임베딩하여 비교한 후 최종 객체 검출 결과를 출력하는 최종 결과 분석부; 및 상기 복합 영상 처리부, 상기 레이더 검출 신호 처리부, 상기 최종 결과 분석부 중 적어도 하나 이상에 구비되는 학습 모델 각각을 학습시키는 학습 수행부를 포함할 수 있다.

Inventors

  • 김영래
  • 설용석
  • 김상수
  • 윤준철

Assignees

  • 한국전력공사

Dates

Publication Date
20260506
Application Date
20241025

Claims (17)

  1. 실화상 카메라가 생성한 실화상 영상과, 열화상 카메라가 생성한 열화상 영상으로부터, 영상에 포함되는 것으로 인식된 영상내 객체에 대한 클래스와 확률값을 도출하는 복합 영상 처리부; 레이더 장치의 반응 감지 신호로부터, 신호 반응 객체에 대한 클래스와 확률값을 도출하는 레이더 검출 신호 처리부; 상기 실화상 영상 및 상기 열화상 영상 중 하나 이상과 상기 반응 감지 신호를 분석하여, 상기 영상내 객체와 상기 신호 반응 객체의 매칭쌍을 확인하는 융합처리부; 매칭쌍 관계의 영상내 객체 및 신호 반응 객체 각각의 클래스들과 확률값들을 임베딩하여 비교한 후 최종 객체 검출 결과를 출력하는 최종 결과 분석부; 및 상기 복합 영상 처리부, 상기 레이더 검출 신호 처리부, 상기 최종 결과 분석부 중 적어도 하나 이상에 구비되는 학습 모델 각각을 학습시키는 학습 수행부 를 포함하는 복합 실시간 선박 감시 시스템.
  2. 제1항에 있어서, 상기 학습 수행부는, 매칭쌍 관계의 영상내 객체 및 신호 반응 객체에 대하여, 상기 영상내 객체에 대한 상기 복합 영상 처리부의 도출 결과 및 상기 최종 결과 분석부의 최종 객체 검출 결과를 이용하여, 상기 신호 반응 객체를 처리하는 상기 레이더 검출 신호 처리부의 객체 검출 모델을 학습시키고, 상기 신호 반응 객체에 대한 상기 레이더 검출 신호 처리부의 도출 결과 및 상기 최종 결과 분석부의 최종 객체 검출 결과를 이용하여, 상기 영상내 객체를 처리하는 상기 복합 영상 처리부의 객체 검출 모델을 학습시키는 복합 실시간 선박 감시 시스템.
  3. 제1항에 있어서, 상기 최종 결과 분석부는, 감시 구역내 선박 감시를 위한 상시 감시 과정에서는, 상기 레이더 검출 신호 처리부의 출력을 적용하고, 감시 대상이 되는 선박에 대한 세부 감시 과정에서는, 상기 복합 영상 처리부의 출력을 적용하는 복합 실시간 선박 감시 시스템.
  4. 제1항에 있어서, 상기 복합 영상 처리부는, 영상내 객체를 근거리 객체 및 원거리 객체로 구분하되, 원거리 객체의 경우 근거리 객체 보다 해상도를 길이방향으로 2배 높여서 적용하는 복합 실시간 선박 감시 시스템.
  5. 제1항에 있어서, 상기 복합 영상 처리부는, 주간의 경우 실화상 카메라의 RGB 영상과 열화상 영상을 학습하여 영상내 객체로서 선박을 검출하고, 야간의 경우 실화상 카메라의 IR 영상과 열화상 영상을 학습하여 영상내 객체로서 선박을 검출하는 복합 실시간 선박 감시 시스템.
  6. 제1항에 있어서, 상기 레이더 검출 신호 처리부는, 상기 레이더 장치의 반응 감지 신호를 FFT 및 멜스펙트로그램으로 변환 후, 각각의 모델에서 학습한 결과에서 추출한 클래스들을 임베딩하여 비교하여, 신호 반응 객체에 대한 선박 여부에 대한 클래스와 확률값을 도출하는 복합 실시간 선박 감시 시스템.
  7. 제6항에 있어서, 상기 레이더 검출 신호 처리부는, FFT의 경우 일정 길이를 갖는 3차원 데이터로 변환하여 트랜스포머 모델의 입력으로 사용하는 복합 실시간 선박 감시 시스템.
  8. 제6항에 있어서, 상기 레이더 검출 신호 처리부는, 멜스펙트로그램에 대한 학습 이미지의 개수가 작을 때 클래스 분류 효과를 높일 수 있는 학습시킨 CNN 모델을 적용하여 멜스펙트로그램의 클래스를 분류하는 복합 실시간 선박 감시 시스템.
  9. 실화상 카메라로부터 실화상 영상을 수집하고, 열화상 카메라로부터 열화상 영상을 수집하는 단계; 상기 실화상 영상과 상기 열화상 영상으로부터, 영상에 포함되는 것으로 인식된 영상내 객체에 대한 클래스와 확률값을 도출하는 복합 영상 처리 단계; 레이더 장치로부터 대상 물체에 대한 반응 감지 신호를 수집하는 단계; 상기 반응 감지 신호로부터, 신호 반응 객체에 대한 클래스와 확률값을 도출하는 레이더 검출 신호 처리 단계; 상기 실화상 영상 및 상기 열화상 영상 중 하나 이상과 상기 반응 감지 신호를 분석하여, 상기 영상내 객체와 상기 신호 반응 객체의 매칭쌍을 확인하는 단계; 및 매칭쌍 관계의 영상내 객체 및 신호 반응 객체 각각의 클래스들과 확률값들을 임베딩하여 비교한 후 도출되는 최종 객체 검출 결과를 출력하는 단계 를 포함하는 복합 실시간 선박 감시 방법.
  10. 제9항에 있어서, 상기 복합 영상 처리 단계, 상기 레이더 검출 신호 처리 단계, 상기 최종 객체 검출 결과를 출력하는 단계 중 적어도 하나 이상에서 이용되는 학습 모델 각각을 학습시키는 모델 학습 단계 를 더 포함하는 복합 실시간 선박 감시 방법.
  11. 제10항에 있어서, 상기 모델 학습 단계에서는, 매칭쌍 관계의 영상내 객체 및 신호 반응 객체에 대하여, 상기 영상내 객체에 대한 클래스와 확률값의 도출 결과 및 상기 최종 객체 검출 결과를 이용하여, 상기 신호 반응 객체를 처리하는 객체 검출 모델을 학습시키고, 상기 신호 반응 객체에 대한 클래스와 확률값의 도출 결과 및 상기 최종 객체 검출 결과를 이용하여, 상기 영상내 객체를 처리하는 객체 검출 모델을 학습시키는 복합 실시간 선박 감시 방법.
  12. 제11항에 있어서, 출력된 상기 최종 분석 결과에 대하여 담당자로부터 인적 확인을 접수하는 단계 를 더 포함하고, 상기 모델 학습 단계에서는, 인적 확인 결과를 반영하여 상기 신호 반응 객체를 처리하는 객체 검출 모델 및 상기 영상내 객체를 처리하는 객체 검출 모델을 학습시키는 복합 실시간 선박 감시 방법.
  13. 제9항에 있어서, 상기 복합 영상 처리 단계에서는, 영상내 객체를 근거리 객체 및 원거리 객체로 구분하되, 원거리 객체의 경우 근거리 객체 보다 해상도를 길이방향으로 2배 높여서 적용하는 복합 실시간 선박 감시 방법.
  14. 제9항에 있어서, 상기 복합 영상 처리 단계에서는, 주간의 경우 실화상 카메라의 RGB 영상과 열화상 영상을 학습하여 영상내 객체로서 선박을 검출하고, 야간의 경우 실화상 카메라의 IR 영상과 열화상 영상을 학습하여 영상내 객체로서 선박을 검출하는 복합 실시간 선박 감시 방법.
  15. 제9항에 있어서, 상기 레이더 검출 신호 처리 단계에서는, 상기 레이더 장치의 반응 감지 신호를 FFT 및 멜스펙트로그램으로 변환 후, 각각의 모델에서 학습한 결과에서 추출한 클래스들을 임베딩하여 비교하여, 신호 반응 객체에 대한 선박 여부에 대한 클래스와 확률값을 도출하는 복합 실시간 선박 감시 방법.
  16. 제15항에 있어서, 상기 레이더 검출 신호 처리 단계에서는, FFT의 경우 일정 길이를 갖는 3차원 데이터로 변환하여 트랜스포머 모델의 입력으로 사용하는 복합 실시간 선박 감시 방법.
  17. 제15항에 있어서, 상기 레이더 검출 신호 처리 단계에서는, 멜스펙트로그램에 대한 학습 이미지의 개수가 작을 때 클래스 분류 효과를 높일 수 있는 학습시킨 CNN 모델을 적용하여 멜스펙트로그램의 클래스를 분류하는 복합 실시간 선박 감시 방법.

Description

복합 실시간 선박 감시 시스템 및 방법{Complex Real-Time Ship Surveillance System and Method} 본 발명은 해상 풍력 단지로 인근을 항해하는 선박들을 감시/식별함에 있어서 오검출을 줄이기 위해 레이더센서와 열화상카메라 등의 센서와 융합한 선박 검출 기술에 관한 것이다. 특히, 본 발명은 주·야간 복합감시 데이터(실화성,열화상)와 레이더센서를 융합하여 선박감시 고도화 맵핑 기술을 적용한 것이다. 일반적으로, 해안 부근에 침입자가 발생하는 것을 방지하기 위해서 해군에서는 초소마다 보초병을 배치하고, 배치된 보초병은 육안이나 망원경을 이용하여 해안 부근의 괴선박이나 간첩선 출현 여부를 판별하여 감시부대에 이를 유선으로 보고하는 형태로 운영되거나 해상을 통해 침투하는 적(의아 표적)을 조기에 포착, 경보하고 기동화된 작전 부대에 전파하여 효율적인 해안 방어임무 수행을 위한 주 감시수단으로 해안감시 레이더가 설치되어 운용 중에 있다. 또는, 해안 보안 또는 양식장, 해상 발전 설비를 감시하기 위해서, 해안 감시용 레이더 영상을 획득하는 레이더, 팬 틸트 감시 카메라, 팬 틸트 열화상 감시카메라등이 조합된 시스템을 이용한다. 예컨대, 레이더 영상에서 노이즈를 제거하고 선박의 존재 여부를 판단하여 선박의 위경도 정보를 산출하고 팬 틸트 카메라, 팬 틸트 열화상카메라로 촬영 방향을 제어하여 팬 틸트 카메라, 팬틸트 열화상카메라에 획득한 영상을 저장 및 송신하는 모니터링 단말을 적용한다. 그런데, 해당 시스템의 경우, 레이더센서와 열화상카메라를 이용하여 선박 검출 방법을 제시하였으나, 단순히 레이더센서 영상과 열화상 영상의 정보만을 활용한 검출 방법을 적용하면, 선박 검출 성능이 충분하지 않다. 해안 감시를 위해 영상 분할 기반의 개선된 다른 종래 기술이 경우, 항해 중인 선박 또는 지상에서 관제를 위하여 설치된 카메라의 영상을 자동으로 분석하여 영상에 존재하는 수평선 및 객체 정보를 영상 분할 방법을 사용하여 정확하고 효과적으로 인식할 수 있도록 한 영상 분할 기반의 해양 상황 인식 장치 및 방법을 제시한다. 보다 구체적으로, 영상 분할부에서 분류된 영역 분할 영상으로부터 관심 객체 영역을 추출하고 추출된 관심 객체 영역으로부터 객체를 추출 및 분류하여 객체별 위치, 종류 및 거리 정보를 이용하여 입력 영상에서 객체에 관련된 증강 데이터를 디스플레이하는 상황 정보 표출부를 구현한다. 그러나, 개선된 상기 기술의 경우, 전통적인 영상처리 및 컴퓨터 비전 기술을 사용한 방법으로 조도 변화, 날씨 변화에 따른 오검출이 많고, 현장에 적용하기에는 정확도, 속도 등의 성능이 미달이다. 다른 개선된 종래 기술의 경우, 입력된 영상에서 객체를 식별하는 데 방해가 되는 요소를 제거하는 단계, 선박의 종류를 분류하도록 학습된 제 1 딥러닝 모델에 기반하여 상기 영상에 포함된 선박의 종류를 식별하는 단계, 상기 식별된 선박이 군함인 경우 영상 분할 기법을 활용하여 군함을 구성요소 단위로 분류하도록 학습된 제 2 딥러닝 모델을 기초로 상기 군함을 구성요소 단위로 분할하여 식별하는 단계, 상기 군함의 구성요소의 종류와 위치에 기반한 3차원 패턴 매칭을 이용하여 상기 군함의 종류 및 함급을 식별하는 단계와 상기 식별된 군함의 종류 및 함급을 상기 3차원 패턴 매칭 결과에 따른 유사도가 높은 순서대로 사용자에게 제시하는 단계를 포함하는 영상 기반 선박 식별 방법을 구현한다. 그러나, 상기 기술의 경우에는, 실화상 카메라 영상과 딥러닝 기술을 이용한 선박 검출 및 식별 방법으로 컴퓨터 비전 기술을 통한 선박 식별 방해요소 제거와 딥러닝 학습 방법을 사용하여 선박 검출 성능을 향상시켰으나 레이더센서와 열화상카메라 등의 센서와 융합이 배제되어 오검출 확률이 높다. 도 1은 본 발명의 사상에 따른 복합 실시간 선박 감시 시스템이 동작 원리 및 전체 구성을 나타낸 개념도. 도 2는 본 발명의 실시예에 따른 복합 실시간 선박 감시 시스템의 주요 구성요소들을 도시한 블록도. 도 3은 FFT 및 멜스펙트로그램 적용에 대한 예시. 도 4는 본 발명의 사상에 따른 복합 실시간 선박 감시 방법의 일 실시예를 도시한 흐름도. 본 발명을 설명함에 있어서 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되지 않을 수 있다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 어떤 구성요소가 다른 구성요소에 연결되어 있다거나 접속되어 있다고 언급되는 경우는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해될 수 있다. 본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 명세서에서, 포함하다 또는 구비하다 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로서, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해될 수 있다. 또한, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다. 본 발명은 실화상 영상, 열화상 영상을 딥러닝 영상분석 특징을 학습한 결과 2종과 레이더센서 감지 신호 특징을 학습한 결과 2종을 임베딩하여 선박을 검출하는 방법과 CCTV 간의 선박 검출 정보를 공유한 다중카메라 선박 추적 기술 사용하여 해상 발전기 주변을 감시하고 실화상 영상, 열화상 영상, 레이더센서 신호를 맵핑한 어라운드뷰 영상 생성 및 감시 적용을 통해 해상 발전기 주변 감시 및 모니터링을 위한 방법을 제시한다. 즉, 레이더센서 감지 기술의 장점인 움직이는 객체 검출의 높은 정확도와 딥러닝 영상분석 기술의 장점인 높은 선박 분류 기술을 융합함으로써 해상에서의 선박 검출 및 분류 성능을 향상시키고 CCTV 간의 선박 검출 데이터를 공유하여 멀티 추적 기술을 적용함으로써 종래 기술의 문제점인 수면 반사광, 해무, 날씨 변화 등의 외부 환경 요인에 의해 발생하는 선박 오인식 및 선박 검출 성능 저하 문제를 해결하는 방안을 제시한다. 추가적으로, 실화상 영상, 열화상 영상, 레이더 신호의 위치 정보를 맵핑하고 어라운드뷰 생성을 통해 CCTV 영상 감시(원거리 감시, 가경보 발생), 어라운드뷰 영상 감시(근거리 감시, 본경보 발생)를 제공하여 모니터링 효율을 극대화할 수 있다. 여기서, 특징은 각 객체를 종류로 구분(class)하는 벡터로서, class 개수에 따른 다차원 벡터값을 가질 수 있다. 본 발명에서는 카메라쪽과 레이더쪽에서 각각 판정한 특징을, 투표방식이나 다른 가중치 적용 방식들을 이용하여 최종적으로 종류로 구분(class)한다. 본 발명에서는 카메라쪽과 레이더쪽에서 각각 판정하는 검출(분류)모델들을 효과적으로 학습시키는 방안도 제시한다. 도 1은 본 발명의 사상에 따른 복합 실시간 선박 감시 시스템이 동작 원리 및 전체 구성을 나타낸 개념도이다. 도 2는 본 발명의 실시예에 따른 복합 실시간 선박 감시 시스템의 주요 구성요소들을 도시한 블록도이다. 도시한 복합 실시간 선박 감시 시스템은, 실화상 카메라(12)가 생성한 실화상 영상과, 열화상 카메라(14)가 생성한 열화상 영상으로부터, 영상에 포함되는 것으로 인식된 영상내 객체(예: 선박 객체)에 대한 클래스와 확률값을 도출하는 복합 영상 처리부(100); 레이더 장치(20)의 반응 감지 신호로부터, 신호 반응 객체에 대한 클래스와 확률값을 도출하는 레이더 검출 신호 처리부(200); 상기 실화상 영상 및 상기 열화상 영상 중 하나 이상과 상기 반응 감지 신호를 분석하여, 상기 영상내 객체와 상기 신호 반응 객체의 매칭쌍을 확인하는 융합처리부(300); 매칭쌍 관계의 영상내 객체 및 신호 반응 객체 각각의 클래스들과 확률값들을 임베딩하여 비교한 후 최종 객체 검출 결과를 출력하는 최종 결과 분석부(400); 및 상기 복합 영상 처리부, 상기 레이더 검출 신호 처리부, 상기 최종 결과 분석부 중 적어도 하나 이상에 구비되는 학습 모델 각각을 학습시키는 학습 수행부(500)를 포함할 수 있다. 예컨대, 상기 학습 수행부(500)가 수행하는 레이더 신호 특징 학습 과정의 일 예를 상술하면 다음과 같다. 상기 레이더 검출 신호 처리부(200) 및 이를 위한 검출 모델(250, 525)의 학습 블록(520)은, 레이더 센서(20)에서 선박의 레이더 방출 신호에 대한 반응 감지 신호를 FFT 및 멜스펙트로그램으로 변환한 신호를 수신하되, FFT의 경우 일정 길이를 갖는 3차원 데이터로 변환하여 트랜스포머 모델의 입력으로 사용할 수 있다. 이때, 3차원 데이터에서 120 길이만큼 샘플링된 (N(배치사이즈 수), L(데이터 길이), C(특징 수)) 3차원 데이터에 대해서 이를 Conv1D 층에서 필터의 크기만큼 인접한 신호간 학습에 적합한 특징을 요약 추출 후 Transformer 인코더 층에서 특징을 쿼리, 키, 밸류 벡터로 변환 후 각 벡터의 가중치를 학습하는 self attention을 통해 인접하지 않은 특징에서 학습에 적합한 특징을 추출한다. multi head attention에서 동시에 복수의 self attention을 적용해 병렬처리를 하여 클래스 분류 성능 및 데이터 처리 속도를 높일 수 있다. 상술한 내용에 따르면, 도시한 학습 수행부(500)는, 상기 복합 영상 처리부(100)에서 이용되는 객체 검출 모델(150)의 사본 모델(515)을 저장하며, 상기 사본 모델(515)을 학습시키기 위한 학습 블록(510)을 구비할 수 있다. 도시한 학습 수행부(500)는, 상기 레이더 검출 신호 처리부(200)에서 이용되는 객체 검출 모델(250)의 사본 모델(525)을 저장하