Search

KR-102960822-B1 - FACILITY MONITORING DRONE FILMING SYSTEM

KR102960822B1KR 102960822 B1KR102960822 B1KR 102960822B1KR-102960822-B1

Abstract

본 발명의 일 실시예에 따른 시설물 모니터링 드론 촬영 시스템은, 드론에 마련되어 카메라를 상기 드론에 연결하며, 상기 드론의 위치 및 상기 카메라의 자세를 조정하는 기구 모듈; 이전에 촬영한 상기 드론의 위치 또는 자세 정보를 보정하고 저장하는 드론 정보 보완 모듈; 및 상기 기구 모듈의 위치 및 자세가 상기 드론 정보 보완 모듈에 저장된 정보와 사전에 설정된 목표 오차값 이내로 일치하도록 상기 기구 모듈에 제어 정보를 전달하고 조정하는 재촬영 제어 모듈;을 포함할 수 있다.

Inventors

  • 김용수
  • 유용래

Assignees

  • 주식회사 씨스텍

Dates

Publication Date
20260506
Application Date
20251029

Claims (10)

  1. 드론에 마련되어 카메라를 상기 드론에 연결하며, 상기 드론의 위치 및 상기 카메라의 자세를 조정하는 기구 모듈; 이전에 촬영한 상기 드론의 위치 또는 자세 정보를 보정하고 저장하는 드론 정보 보완 모듈; 및 상기 기구 모듈의 위치 및 자세가 상기 드론 정보 보완 모듈에 저장된 정보와 사전에 설정된 목표 오차값 이내로 일치하도록 상기 기구 모듈에 제어 정보를 전달하고 조정하는 재촬영 제어 모듈;을 포함하되, 상기 기구 모듈은, 상기 드론과 상기 카메라를 연결하는 페이로드 연결부 및 상기 페이로드 연결부와 연결되어 상기 카메라의 자세 또는 위치를 조정하는 보완 기구부를 포함하고, 상기 기구 모듈은, 상기 보완 기구부에 탑재된 GPS 및 IMU를 이용하여 상기 드론 및 상기 보완 기구부의 위치 및 자세를 실시간으로 취득하는 센싱부 및 상기 센싱부로부터 전달받은 실시간 위치 및 자세 정보를 이용하여 상기 재촬영 제어 모듈에 저장된 목표값과의 차이를 연산하여 상기 보완 기구부의 동작을 제어하는 제어부를 포함하며, 상기 재촬영 제어 모듈은, 산출된 오차가 사전에 설정된 목표 오차값 이하로 수렴할 때까지 상기 기구 모듈에 대한 제어 명령을 반복적으로 생성하여 상기 기구 모듈에 전달하는 것을 특징으로 하는 시설물 모니터링 드론 촬영 시스템.
  2. 제1항에 있어서, 상기 드론 정보 보완 모듈은, 상기 카메라에 의해 촬영된 영상으로부터 상기 드론의 위치 정보를 추출하고, 상기 카메라의 3차원 위치 및 자세 정보를 추출하며, 상기 드론의 실제 정보와 비교하여 오차 보정을 수행하는 것을 특징으로 하는 시설물 모니터링 드론 촬영 시스템.
  3. 제2항에 있어서, 상기 드론 정보 보완 모듈은, 상기 드론에 마련되는 GPS 센서 및 IMU 센서의 정보를 추출하고, LOG 파일 정보를 이용하여 상기 드론의 정밀한 위치 및 자세 정보를 획득하는 것을 특징으로 하는 시설물 모니터링 드론 촬영 시스템.
  4. 제3항에 있어서, 상기 드론 정보 보완 모듈은, 비쥬얼 슬램을 이용하여 상기 카메라의 3차원 위치 및 자세 정보를 상대 좌표계 기준으로 추정하고, 실제 취득한 상기 드론의 위치 및 자세 정보를 이용하여 추정된 상대 좌표 정보를 절대 좌표로 변환하는 것을 특징으로 하는 시설물 모니터링 드론 촬영 시스템.
  5. 제4항에 있어서, 상기 드론 정보 보완 모듈은, 다수의 영상 또는 여러 장의 촬영 이미지에 비쥬얼 슬램을 적용하여 상기 카메라의 3차원 위치 및 자세 정보를 추정하고 상기 드론의 실제 정보와 비교하여 오차 보정을 수행하는 것을 특징으로 하는 시설물 모니터링 드론 촬영 시스템.
  6. 제5항에 있어서, 상기 재촬영 제어 모듈은, 상기 드론 정보 보완 모듈에 저장된 절대 좌표 기반 상기 드론의 비행 경로 및 자세 정보를 추후 재촬영시 상기 드론의 비행 경로 설정 및 상기 재촬영 제어 모듈의 목표값으로 이용하는 것을 특징으로 하는 시설물 모니터링 드론 촬영 시스템.
  7. 제6항에 있어서, 상기 재촬영 제어 모듈은, 상기 기구 모듈에 탑재된 GPS 및 IMU 정보를 실시간으로 취득하고, 상기 목표값과 현재값을 서로 비교하여 상기 기구 모듈의 자세 및 위치의 오차를 산출하며, 산출된 오차를 상기 기구 모듈의 자세 및 위치 조정의 기준으로 이용하는 것을 특징으로 하는 시설물 모니터링 드론 촬영 시스템.
  8. 삭제
  9. 삭제
  10. 삭제

Description

시설물 모니터링 드론 촬영 시스템{FACILITY MONITORING DRONE FILMING SYSTEM} 본 발명은 시설물 모니터링 드론 촬영 시스템에 관한 것으로, 보다 상세하게는 이전에 촬영한 드론의 위치 및 자세를 저장 및 보정하는 분석 모듈 및 추후 드론 촬영 시 해당 경로와 동일하게 촬영할 수 있도록 하는 모듈 및 기구부를 구비한 시설물 모니터링 드론 촬영 시스템을 제공한다. 본　발명은 국토교통부의 재원으로 국토교통과학기술진흥원의 국토교통기술 사업화를 위한 이어달리기사업(과제번호: 2610000264)의 지원을 받아 수행된 결과물이다. 시설물 유지 관리는 "시설물 안전관리에 관한 특별법"에 의해 시설물의 종류에 따라 주기적으로 수행되고 있다 현재까지는 인력이 직접 시설물을 점검하는 방식으로 수행하였으나, 규모가 큰 시설물(예를 들면, 비탈면, 댐 등)에 대해서는 점검을 하는데 있어 안전 및 정확도 측면에서 여러 가지 한계가 존재한다. 이러한 한계점을 극복하기 위해, 드론 및 3D 모델을 활용한 점검이 시도되고 있다. 그러나, 주기적인 시설물 점검을 위해서는 발생한 손상의 정확한 이력 관리 및 위치 대응을 위해 동일한 경로로 촬영해야 한다. 이전과 동일하지 않은 경로로 촬영 시 다음과 같은 문제가 발생할 수 있다. 먼저, 드론의 촬영 경로가 달라지면 스케일(크기) 정합성이 깨져서 실제 크기 대비 축적 오류가 발생하고(스케일 왜곡), GPS 오차 및 경로 불일치로 인해 지상 기준 좌표계에 정확하게 매핑되지 않는 문제(좌표계 불일치)가 있다. 또한, SfM(Structure from Motion)은 연속 영상의 중첩도가 70% 이상일 때 안정적이지만, 촬영 경로가 일치하지 않을 경우에는 중첩도가 떨어져 매칭이 불안정하게 되거나 3D 모델에 구멍(Hole)이 발생할 수 있다(중첩도 부족). 동일 사면이나 시설물을 다른 시점에서 보면, 그림자/가려짐(occlusion)이 다르게 생겨서 표면이 불완전하게 복원되는 문제도 있다. 재촬영 영상이 같은 관점에서 얻어진 것이 아니면, 전후 비교(손상 진행, 변위 추적)가 불가능하거나 큰 오차가 발생하게 된다. 또한, 인공지능(AI) 기반 손상 탐지/변화 탐지 알고리즘은 동일 위치에서 촬영한 데이터일수록 성능이 높은데, 촬영 경로가 일치하지 않는 경우에는 동일 객체에 대한 변화를 파악하기 어렵고 오탐지 또는 미탐지의 가능성이 상승한다는 문제가 있다. 본 출원인은, 상기와 같은 문제점을 해결하기 위하여, 본 발명을 제안하게 되었다. 도 1은 본 발명의 일 실시예에 따른 시설물 모니터링 드론 촬영 시스템의 구성을 개략적으로 도시한 도면이다. 도 2는 도 1에 따른 시설물 모니터링 드론 촬영 시스템의 사용예를 도시한 도면이다. 도 3은 도 1에 따른 시설물 모니터링 드론 촬영 시스템의 서버 구성을 도시한 도면이다. 도 4는 도 1에 따른 시설물 모니터링 드론 촬영 시스템의 드론과 드론 정보 보완 모듈의 작동 관계를 도시한 도면이다. 도 5는 도 1에 따른 시설물 모니터링 드론 촬영 시스템의 드론 정보 보완 모듈과 재촬영 제어 모듈 및 기구 모듈의 작동 관계를 도시한 도면이다. 도 6은 도 1에 따른 시설물 모니터링 드론 촬영 시스템의 재촬영 제어 모듈과 기구 모듈의 작동 관계를 도시한 도면이다. 도 7은 본 발명의 일 실시예에 따른 시설물 모니터링 드론 촬영 방법을 설명하기 위한 순서도이다. 본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 또한, 이하 실시되는 본 발명의 바람직한 실시예는 본 발명을 이루는 기술적 구성요소를 효율적으로 설명하기 위해 각각의 시스템 기능구성에 기 구비되어 있거나, 또는 본 발명이 속하는 기술분야에서 통상적으로 구비되는 시스템 기능 구성은 가능한 생략하고, 본 발명을 위해 추가적으로 구비되어야 하는 기능 구성을 위주로 설명한다. 만약 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면, 하기에 도시하지 않고 생략된 기능 구성 중에서 종래에 기 사용되고 있는 구성요소의 기능을 용이하게 이해할 수 있을 것이며, 또한 상기와 같이 생략된 구성 요소와 본 발명을 위해 추가된 구성 요소 사이의 관계도 명백하게 이해할 수 있을 것이다. 또한, 이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 이하에서는 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 한다. 도 1은 본 발명의 일 실시예에 따른 시설물 모니터링 드론 촬영 시스템의 구성을 개략적으로 도시한 도면, 도 2는 도 1에 따른 시설물 모니터링 드론 촬영 시스템의 사용예를 도시한 도면, 도 3은 도 1에 따른 시설물 모니터링 드론 촬영 시스템의 서버 구성을 도시한 도면, 도 4는 도 1에 따른 시설물 모니터링 드론 촬영 시스템의 드론과 드론 정보 보완 모듈의 작동 관계를 도시한 도면, 도 5는 도 1에 따른 시설물 모니터링 드론 촬영 시스템의 드론 정보 보완 모듈과 재촬영 제어 모듈 및 기구 모듈의 작동 관계를 도시한 도면, 도 6은 도 1에 따른 시설물 모니터링 드론 촬영 시스템의 재촬영 제어 모듈과 기구 모듈의 작동 관계를 도시한 도면, 도 7은 본 발명의 일 실시예에 따른 시설물 모니터링 드론 촬영 방법을 설명하기 위한 순서도이다. 도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 시설물 모니터링 드론 촬영 시스템(10)은 하늘을 비행하는 드론(100)의 비행 또는 운행을 제어할 수 있는 드론 운행 앱을 저장하며 상기 드론 운행 앱을 활성화하여 드론(100)과의 무선 통신을 통하여 드론(100)의 위치, 자세 또는 비행 경로(FP: Flight Path)를 제어할 수 있은 단말기(300), 단말기(300)에서 전송하는 위치 정보, 자세 정보 또는 비행 경로 정보를 수신하여 저장하며 컨트롤러의 제어에 의하여 단말기(300)로부터 수신된 위치, 자세와 비행 경로를 비행하면서 부착된 카메라(400)가 시설물(B)의 표면(S)을 촬영하고 촬영된 영상 정보와 촬영 지점의 위치 정보 및 촬영시간 정보 등을 내부 저장소(예를 들면, SD카드)에 저장하는 드론(100), 드론(100)으로부터 시설물 영상 정보와 해당 영상물 촬영 지점의 위치 정보 등을 수신하고 메모리에 저장된 정보에 해당하는 시설물(B)의 기준 영상 정보와 비교하여 시설물(B)의 상태를 모니터링 하는 서버(200) 및 단말기(300), 드론(100)과 통신할 수 있는 무선 통신망(40)으로 구성될 수 있다. 이하에서, 시설물(B)은 건축물 뿐만 아니라 구조물을 모두 포함하는 개념으로 정의한다. 또한, 드론은 모든 형태의 무인비행체(UAV; Unmanned Air Vehicle)를 포함하는 것으로 정의한다. 본 발명의 일 실시예에 따른 시스템(10)의 단말기(300)는 드론(100)의 비행을 제어하거나 조작하기 위한 원격 컨트롤러로서, 전용 컨트롤러 뿐만 아니라 스마트폰, 컴퓨터 단말기 등의 형태로 구현될 수 있다. 본 발명의 일 실시예에 따른 시스템(10)은, 작업자가 단말기(300)를 휴대하고 모니터링이 필요한 시설물(B)의 근처 현장에서 드론(100)의 작업 또는 비행을 제어할 수도 있고, 작업자가 현장에 가지 않고 지상 관제 스테이션에 마련된 스크린 및 단말기를 통해 드론(100)의 작업 또는 비행을 제어할 수도 있다. 본 발명의 일 실시예에 따른 시스템(10)은 드론(100)이 시설물(B)을 모니터링 하기 위해 시설물(B)의 표면(S)을 촬영할 때 이전에 비행한 경로(FP)와 이후에 비행할 경로(FP)를 일치시킬 수 있다. 이를 위해, 본 발명의 일 실시예에 따른 시스템(10)은, 드론(100)에 마련되어 카메라(400)를 드론(100)에 연결하며, 드론(100)의 위치 및 카메라(400)의 자세를 조정하는 기구 모듈(500); 이전에 촬영한 드론(100)의 위치 또는 자세 정보를 보정하고 저장하는 드론 정보 보완 모듈(210); 및 기구 모듈(500)의 위치 및 자세가 드론 정보 보완 모듈(210)에 저장된 정보와 사전에 설정된 목표 오차값 이내로 일치하도록 기구 모듈(500)에 제어 정보를 전달하고 조정하는 재촬영 제어 모듈(560);을 포함할 수 있다. 여기서, 기구 모듈(500)은 드론(100)에 탑재되거나 마련될 수 있다. 드론 정보 보완 모듈(210)은 서버(200)에 마련되고 재촬영 제어 모듈(560)은 드론(100)에 마련될 수 있다. 도 3에는 드론 정보 보완 모듈(210)이 서버(200)에 마련되는 경우가 예시적으로 도시되어 있다. 도 3을 참조하면, 본 발명의 일 실시예에 따른 시스템(10)의 서버(200)는, 드론 정보 보완 모듈(210) 및 데이터 저장부(290)를 포함할 수 있다. 데이터 저장부(290)는 드론(100), 단말기(300), 드론 정보 보완 모듈(210) 등에서 수집 또는 생성되거나 입출력되는 각종 정보를 전달 받아 저장할 수 있다. 또한, 데이터 저장부(290)는 드론(100)의 카메라(400)에서 촬영된 시설물(B)의 영상 또는 촬영 이미지를 분석하여 얻은 시설물(B)의 모니터링 결과를 저장할 수 있다. 서버(200)는 드론 정보 보완 모듈(210)을 이용하여 정밀한 GPS 정보를 추출할 수 있다. 또한, 드론 정보 보완 모듈(210)에서 계