Search

KR-20260061996-A - Drone Landing System with Human Detection

KR20260061996AKR 20260061996 AKR20260061996 AKR 20260061996AKR-20260061996-A

Abstract

본 발명은 인간 감지 기능이 구비된 드론 랜딩 방법 및 시스템에 관한 것으로 카메라(30, Camera)가 영상을 촬영하여 드론 랜딩 지역의 이미지 데이터(Image data)를 생성하는 촬영 단계(S30)와, AI 영상 판단부(40)가 상기 카메라(30)로부터 전송된 이미지 데이터(Image data)에 기초하여 드론 랜딩 지역에 인간(Human)이 있는지 여부를 판단하여 상기 드론의 제어부(20)에 전달하는 인간 탐지 단계(S40)와 인간이 탐지된 경우, 드론의 제어부(20)가 드론의 하강(Descent)을 정지시키고, 상기 지상 관제 시스템(10, GCS)에 통보하는 인간 탐지 통보 및 하강 정지 단계(S50)와, 인간이 탐지되지 않은 경우, 드론의 제어부(20)가 랜딩을 계속(Continue Landing)하는 랜딩 지속 단계(S60)와, 랜딩이 완료(Complete Landing)되면 드론의 제어부(20)가 랜딩 확인(Confirmation) 메시지를 상기 지상 관제 시스템(10)에 전송하는 랜딩 완료 통보 단계(S70)를 더 포함하여 구성되는 것을 특징으로 하는 인간 감지 기능이 구비된 드론 랜딩 시스템에 관한 것이다.

Inventors

  • 권기정
  • 아시프 아스라프 파탄카르
  • 권재형

Assignees

  • 주식회사 나르마

Dates

Publication Date
20260506
Application Date
20241209
Priority Date
20241028

Claims (3)

  1. 카메라(30, Camera)가 영상을 촬영하여 드론 랜딩 지역의 이미지 데이터(Image data)를 생성하는 촬영 단계(S30)와, AI 영상 판단부(40)가 상기 카메라(30)로부터 전송된 이미지 데이터(Image data)에 기초하여 드론 랜딩 지역에 인간(Human)이 있는지 여부를 판단하여 상기 드론의 제어부(20)에 전달하는 인간 탐지 단계(S40)를 포함하여 구성되는 것을 특징으로 하는 인간 감지 기능이 구비된 드론 랜딩 시스템.
  2. 제1항에 있어서, 인간 탐지 단계(S40) 이후에, 인간이 탐지된 경우, 드론의 제어부(20)가 드론의 하강(Descent)을 정지시키고, 상기 지상 관제 시스템(10, GCS)에 통보하는 인간 탐지 통보 및 하강 정지 단계(S50)와, 인간이 탐지되지 않은 경우, 드론의 제어부(20)가 랜딩을 계속(Continue Landing)하는 랜딩 지속 단계(S60)와, 랜딩이 완료(Complete Landing)되면 드론의 제어부(20)가 랜딩 확인(Confirmation) 메시지를 상기 지상 관제 시스템(10)에 전송하는 랜딩 완료 통보 단계(S70), 를 더 포함하여 구성되는 것을 특징으로 하는 인간 감지 기능이 구비된 드론 랜딩 시스템.
  3. 영상을 촬영하여 드론 랜딩 지역의 이미지 데이터(Image data)를 생성하는 상기 카메라(30, Camera)와, 상기 카메라(30)로부터 전송된 이미지 데이터(Image data)에 기초하여 드론 랜딩 지역에 인간(Human)이 있는지 여부(인간을 탐지)를 판단하여 상기 드론의 제어부(20)에 전달하는 AI 영상 판단부(40)와, 드론의 제어부(20)는 인간이 탐지된 경우 드론의 하강(Descent)을 정지시키고, 상기 지상 관제 시스템(10, GCS)에 통보하고, 인간이 탐지되지 않은 경우, 드론의 제어부(20)가 랜딩을 계속(Continue Landing)하고, 드론의 제어부(20)가 랜딩이 완료(Complete Landing)되면 랜딩 확인(Confirmation) 메시지를 상기 지상 관제 시스템(10)에 전송하는 것을 특징으로 하는 인간 감지 기능이 구비된 드론 랜딩 시스템.

Description

인간 감지 기능이 구비된 드론 랜딩 방법 및 시스템 { Drone Landing System with Human Detection } 본 발명은 인간 감지 기능이 구비된 드론 랜딩 시스템에 관한 것이다. 공개 특허 제10-2020-0082271호 발명의 명칭 : 드론 착륙 제어방법 및 제어시스템은 착륙패드의 중앙부에 배치된 초음파송신부로부터 초음파신호가 주변영역으로 전파되고, 상기 착륙패드에 배치된 기준신호송신부로부터 발생된 기준신호가 드론의 착륙제어부에서 수신됨에 따라 거리측정시 기준시간을 제공하는 발신펄스가 발생되는 제1단계; 상기 드론의 중심부와 상기 드론의 중심부로부터 방사상으로 배치된 구동부의 사이에 배치되되 상기 드론의 중심부로부터 상호간 동일평면상의 동일한 간격으로 이격 배치된 복수개의 초음파수신부를 통해 상기 초음파신호가 각각 수신되는 순간마다 상기 착륙제어부에 개별적으로 복수개의 수신펄스가 발생되는 제2단계; 상기 착륙제어부에 의해 산출된 상기 발신펄스 및 각 상기 수신펄스 간의 시간격차 및 초음파 속도를 기반으로 상기 초음파송신부와 각 상기 초음파수신부 간의 이격 거리가 개별적으로 자동 산출되어 상기 드론 및 상기 착륙패드 간의 위치관계가 판단되는 제3단계; 및 상기 드론이 기설정된 고도 범위 내에서 위치 조정되도록 상기 구동부가 상기 착륙제어부에 의해 자동제어되고, 상기 초음파송신부 및 상기 드론의 중심부가 상호간 실질적인 수직방향으로 정렬되면 상기 드론이 상기 구동부에 의해 하강하여 상기 착륙패드에 착륙되는 제4단계를 포함하는 드론 착륙 제어방법을 개시한다. 도 1은 본 발명의 인간 감지 기능이 구비된 드론 랜딩 시스템 설명도. 도 2는 본 발명의 인간 감지 기능이 구비된 드론 랜딩 시스템 상세도. 도 3은 본 발명의 인간 감지 기능이 구비된 드론 랜딩 방법 흐름도. 도 4는 본 발명의 인간 감지 기능이 구비된 드론 랜딩 방법 중 레이다 감지 단계 상세도. 이하에서 본 발명의 인간 감지 기능이 구비된 드론 랜딩 방법 및 시스템에 대하여 첨부된 도면을 참조하여 상세하게 설명한다. 도 1은 본 발명의 인간 감지 기능이 구비된 드론 랜딩 시스템 설명도, 도 2는 본 발명의 인간 감지 기능이 구비된 드론 랜딩 시스템 상세도, 도 3은 본 발명의 인간 감지 기능이 구비된 드론 랜딩 방법 흐름도이고, 도 4는 본 발명의 인간 감지 기능이 구비된 드론 랜딩 방법 중 레이다 감지 단계 상세도이다. 도 1, 도 2, 및 도 3에 도시된 바와 같이, 본 발명의 인간 감지 기능이 구비된 드론 랜딩 방법은 랜딩 명령 수신 단계(S10)와 카메라 활성화 단계(S20)와 촬영 단계(S30)와 인간 탐지 단계(S40)와 인간 탐지 통보 및 하강 정지 단계(S50)와 랜딩 지속 단계(S60)와 랜딩 완료 통보 단계(S70)를 포함하여 구성된다. 랜딩 명령 수신 단계(S10)는 드론의 제어부(20)가 지상 관제 시스템(10, GCS, Ground Control Sysyetm)으로부터 랜딩 명령을 수신한다. 지상 관제 시스템(10, Ground Control Sysyetm)과 드론 제어부(Drone Controller)는 송수신부를 구비하고 송수신부는 RF(Radio Frequency) 또는 LTE 5G로 교신할 수 있다. 카메라 활성화 단계(S20)는 드론 제어부(Drone Controller)가 카메라(30)를 활성화(Activate) 시킨다. 드론 제어부(Drone Controller)는 명령을 저장하는 메모리(RAM, ROM)와 명령을 업로드 하여 실행하는 프로세서(Processer)를 포함한다. 드론 제어부(Drone Controller)는 드론에 장착된다. 카메라(30)는 예를들어 Raspberry Pi Camera Moduledl일수 있으며, 조향 장치로서 짐벌을 포함할 수 있다. 카메라(30)는 드론에 장착된다. 촬영 단계(S30)는 카메라(30, Camera)가 영상을 촬영하여 드론 랜딩 지역의 이미지 데이터(Image data)를 생성한다. 인간 탐지 단계(S40)는 AI 영상 판단부(40)가 상기 카메라(30)로부터 전송된 이미지 데이터(Image data)에 기초하여 드론 랜딩 지역에 인간(Human)이 있는지 여부를 판단하여 상기 드론의 제어부(20)에 전달한다. AI 영상 판단부(40)는 이미지를 딥러닝으로 인식가능하도록 전차리 하는 이미지 전처리부와 이미지로부터 인간의 존부를 탐지하는 AI 영상 판단부로 구성될 수 있다. 인간 탐지 통보 및 하강 정지 단계(S50)는 인간이 탐지된 경우, 드론의 제어부(20)가 드론의 하강(Descent)을 정지시키고, 상기 지상 관제 시스템(10, GCS)에 통보한다. 도 1, 도 2, 및 도 3에 도시된 바와 같이, 랜딩 지속 단계(S60)는 인간이 탐지되지 않은 경우, 드론의 제어부(20)가 랜딩을 계속(Continue Landing)한다. 랜딩 완료 통보 단계(S70)는 랜딩이 완료(Complete Landing)되면 드론의 제어부(20)가 랜딩 확인(Confirmation) 메시지를 지상 관제 시스템(10)에 전송한다. 드론의 제어부(20)는 AI 영상 판단부(40)의 판단 결과와 레이다 데이터 처리부(60)의 결과를 병합하여 판단함으로써 판단의 정확도를 증가시킨다. 도 1, 도 2, 및 도 3에 도시된 바와 같이, 본 발명의 인간 감지 기능이 구비된 드론 랜딩 방법은, 랜딩 명령 수신 단계(S10)와 랜딩 지속 단계(S60) 사이에 레이다 활성화 단계(S25)와 레이다 정보 추출 단계(S45)를 더 포함하는 것이 바람직하다. 레이다 활성화 단계(S25)는 드론 제어부(20, Drone Controller)가 레이다(50, mmWave Radar)를 활성화(Activate) 시킨다. 레이다 정보 추출 단계(S45)에서 레이다(50, mmWave Radar)가 장애물 존부, 장애물 형상, 장애물 거리, 착륙지점 거리에 관한 근접도(거리) 데이터(Proximity data, 레이다 데이터)를 생성한다. 레이다 정보 추출 단계(S45)에서 레이다 데이터 처리부(60)가 근접도(거리) 데이터(Proximity data)를 기초로 하여 장애물 정보(장애물 유무 정보 또는 대략적 형상정보) 및 랜딩 지점까지 거리 정보를 추출하여 드론의 제어부(20)에 전달한다. 본 발명의 인간 감지 기능이 구비된 드론 랜딩 시스템은 지상 관제 시스템(10, GCS, Ground Control Sysyetm)과 드론 제어부(Drone Controller)와 카메라(30, Camera)와 AI 영상 판단부(40)로 구성된다. 지상 관제 시스템(10, GCS, Ground Control Sysyetm)은 드의 제어부(20)에 랜딩 명령을 송신한다. 드론 제어부(Drone Controller)와 드론이 랜딩 지점에 도착하였을 때 카메라(30)를 활성화(Activate) 시킨다. 카메라(30, Camera)는 영상을 촬영하여 드론 랜딩 지역의 이미지 데이터(Image data)를 생성한다. 영상 판단부(40)는 카메라(30)로부터 전송된 이미지 데이터(Image data)에 기초하여 드론 랜딩 지역에 인간(Human)이 있는지 여부(인간을 탐지)를 판단하여 상기 드론의 제어부(20)에 전달한다. 드론의 제어부(20)는 인간이 탐지된 경우 드론의 하강(Descent)을 정지시키고, 상기 지상 관제 시스템(10, GCS)에 통보한다. 드론의 제어부(20)는 인간이 탐지되지 않은 경우, 드론의 제어부(20)가 랜딩을 계속(Continue Landing)하고, 드론의 제어부(20)가 랜딩이 완료(Complete Landing)되면 랜딩 확인(Confirmation) 메시지를 지상 관제 시스템(10)에 전송한다. 본 발명의 인간 감지 기능이 구비된 드론 랜딩 방법 및 시스템은 레이다(50, mmWave Radar)와 레이다 데이터 처리부(60)를 포함한다. 레이다(50, mmWave Radar)는 장애물 존부, 장애물 형상, 장애물 거리, 착륙지점 거리에 근접도 데이터(Proximity data, 레이다 데이터)를 생성한다. 레이다는 mmWave Radar Sensor, 2.4 GHz, 24 GHz, 또는 60 GHz Radar Sensor일 수 있으며 정지된 사물의 거리, 이동체의 거리/속도/방향을 측정할 수 있다. 측정거리는 10 ~ 50 meter, 분해능 3cm 정도가 바람직하지만 이에 한정되는 것은 아니다. FMCW(Frequency Modulated Continuous Wave) 방식의 경우 chirf 파라미터를 조절하여 감지 거리 및 해성도를 조정할 수 있다. 레이다 데이터 처리부(60)는 근접도(거리) 데이터(Proximity data)를 기초로 하여 장애물 정보(장애물 존부, 장애물 형상, 장애물 거리) 및 랜딩 지점까지 거리 정보를 추출하여 상기 드론의 제어부(20)에 전달한다. 드론 제어부(20, Drone Controller)는 드론이 랜딩 지점에 도착하였을 때 상기 레이다(50, mmWave Radar)를 활성화(Activate) 시키고, AI 영상 판단부(40)의 인간 탐지 결과와 상기 레이다 데이터 처리부(60)의 장애물 정보 및 랜딩 지점까지 거리 정보를 기초로 하여 랜딩의 멈춤 또는 랜딩의 지속 여부를 결정한다. 이하에서 인간 감지 기능이 구비된 드론 랜딩 방법 및 시스템에 대하여 부연설명한다. <하드웨어 구성> 드론 플랫폼 NVIDIA Jetson (예: Jetson Nano 또는 Xavier NX) Raspberry Pi 카메라 mmWave 레이더 (예: Texas Instruments AWR1642, Infineon 등) 지상 제어 스테이션(GCS) (노트북 또는 전용 하드웨어) Hardware Components - Drone platform - NVIDIA Jetson (e.g., Jetson Nano or Xavier NX) - Raspberry Pi Camera - mmWave Radar (e.g., Texas Instruments AWR1642, Infineon, etc.) - Ground Control Station (laptop or dedicated hardware) <감지 순서> 1. GCS에서 착륙 명