Search

KR-20260061728-A - Route provision system for bridge passage of autonomous ships and the method thereof

KR20260061728AKR 20260061728 AKR20260061728 AKR 20260061728AKR-20260061728-A

Abstract

본 발명의 일 실시예에 따른 자율운항선박의 교량 통행을 위한 경로 제공 시스템은, 운항하는 선박의 현 위치에서 교량에 설치된 교량 표시부를 카메라를 이용하여 2차원 이미지 데이터로 획득하고, 라이다를 이용하여 3차원 데이터로 획득하여 상기 획득한 2차원 이미지 데이터와 상기 획득한 3차원 데이터의 좌표계가 일치하도록 보정하는 데이터 획득 모듈; 및 상기 데이터 획득 모듈에서 보정된 교량 표시부의 위치를 딥러닝 모델에 적용하여 교량 표시부를 인식하고, 라이다의 3차원 좌표계를 기준으로 현 위치의 선박이 교량의 교각 사이를 통과하도록 방향 벡터를 산출하여 선박의 진출입 경유점을 생성하는 경로 생성 모듈;을 포함하는 점에 그 특징이 있다.

Inventors

  • 정종대
  • 구본석
  • 김대현
  • 구자평
  • 오재진

Assignees

  • 충남대학교산학협력단

Dates

Publication Date
20260506
Application Date
20241028

Claims (12)

  1. 운항하는 선박의 현 위치에서 교량에 설치된 교량 표시부를 카메라를 이용하여 2차원 이미지 데이터로 획득하고, 라이다를 이용하여 3차원 데이터로 획득하여 상기 획득한 2차원 이미지 데이터와 상기 획득한 3차원 데이터의 좌표계가 일치하도록 보정하는 데이터 획득 모듈; 및 상기 데이터 획득 모듈에서 보정된 교량 표시부의 위치를 딥러닝 모델에 적용하여 교량 표시부를 인식하고, 라이다의 3차원 좌표계를 기준으로 현 위치의 선박이 교량의 교각 사이를 통과하도록 방향 벡터를 산출하여 선박의 진출입 경유점을 생성하는 경로 생성 모듈;을 포함하는 자율운항선박의 교량 통행을 위한 경로 제공 시스템.
  2. 제1항에 있어서, 상기 데이터 획득 모듈은, 상기 교량에 설치된 교량 표시부를 2차원 이미지 데이터로 촬영하는 카메라; 상기 교량 및 교량 표시부를 3차원 점군 데이터로 획득하는 라이다: 상기 선박의 현 위치 정보를 수신하는 GPS 수신기; 상기 선박의 자세 및 방향을 측정하는 자세 측정 센서부; 및 상기 카메라에서 촬영된 2차원 이미지 데이터의 좌표계와 상기 라이다에서 획득한 3차원 점군 데이터의 좌표계가 서로 일치하도록 보정하는 보정부;를 포함하는 것을 특징으로 하는 자율운항선박의 교량 통행을 위한 경로 제공 시스템.
  3. 제1항에 있어서, 상기 경로 생성 모듈은, 상기 보정된 교량 표시부의 위치를 딥러닝 모델에 적용하여 교량 표시부를 인식하는 인식부; 및 상기 인식부에서 인식된 교량 표시부의 라이다 3차원 좌표 데이터에서 방향 벡터를 산출하고, 산출된 방향 벡터를 기준으로 선박의 진출입 경유점을 생성하는 경유점 생성부;를 포함하는 것을 특징으로 하는 자율운항선박의 교량 통행을 위한 경로 제공 시스템.
  4. 제3항에 있어서, 상기 인식부의 딥러닝 모델은 YOLO 계열 모델인 것을 특징으로 하는 자율운항선박의 교량 통행을 위한 경로 제공 시스템.
  5. 제3항에 있어서, 상기 경유점 생성부는, 상기 인식된 교량 표시부의 라이다 3차원 좌표 데이터에서 RANSAC(Random Sample Consensus) 알고리즘을 사용하여 수평인 인접 포인트들을 기반으로 직선을 계산하고, 계산된 직선을 수평면에 정사영 한 후, 정사영 된 직선의 법선 벡터 두 개를 계산하는 것을 특징으로 하는 자율운항선박의 교량 통행을 위한 경로 제공 시스템.
  6. 제5항에 있어서, 상기 정사영 된 직선의 중심점을 기준으로, 소정 거리가 떨어진 두 개의 경유점을 계산하고, 계산된 경유점을 기반으로 교각 진입 경로와 교각 진출 경로를 생성하는 것을 특징으로 하는 자율운항선박의 교량 통행을 위한 경로 제공 시스템.
  7. 제1항에 있어서, 상기 교량 표시부는, 표지판, 마커, 교량등 또는 디지털 디스플레이 중 적어도 하나 이상이 교량에 설치되는 것을 특징으로 하는 자율운항선박의 교량 통행을 위한 경로 제공 시스템.
  8. 데이터 획득 모듈에서 운항하는 선박의 현 위치에서 교량에 설치된 교량 표시부를 카메라를 이용하여 2차원 이미지 데이터로 획득하고, 라이다를 이용하여 3차원 데이터로 획득하는 단계; 데이터 획득 모듈에서 상기 획득한 2차원 이미지 데이터와 상기 획득한 3차원 데이터의 좌표계가 일치하도록 보정하는 단계; 경로 생성 모듈에서 상기 보정된 교량 표시부의 위치를 딥러닝 모델에 적용하여 교량 표시부를 인식하는 단계; 및 경로 생성 모듈에서 라이다의 3차원 좌표계를 기준으로 현 위치의 선박이 교량의 교각 사이를 통과하도록 방향 벡터를 산출하여 선박의 진출입 경유점을 생성하는 단계;를 포함하는 자율운항선박의 교량 통행을 위한 경로 제공 방법.
  9. 제8항에 있어서, 상기 교량 표시부를 인식하는 단계에서 딥러닝 모델은 YOLO 계열 모델인 것을 특징으로 하는 자율운항선박의 교량 통행을 위한 경로 제공 방법.
  10. 제8항에 있어서, 상기 경유점을 생성하는 단계는, 상기 인식된 교량 표시부의 라이다 3차원 좌표 데이터에서 RANSAC(Random Sample Consensus) 알고리즘을 사용하여 수평인 인접 포인트들을 기반으로 직선을 계산하고, 계산된 직선을 수평면에 정사영 한 후, 정사영 된 직선의 법선 벡터 두 개를 계산하는 것을 특징으로 하는 자율운항선박의 교량 통행을 위한 경로 제공 방법.
  11. 제10항에 있어서, 상기 정사영 된 직선의 중심점을 기준으로, 소정 거리가 떨어진 두 개의 경유점을 계산하고, 계산된 경유점을 기반으로 교각 진입 경로와 교각 진출 경로를 생성하는 것을 특징으로 하는 자율운항선박의 교량 통행을 위한 경로 제공 방법.
  12. 제8항에 있어서, 상기 교량 표시부는, 표지판, 마커, 교량등 또는 디지털 디스플레이 중 적어도 하나 이상이 교량에 설치되는 것을 특징으로 하는 자율운항선박의 교량 통행을 위한 경로 제공 방법.

Description

자율운항선박의 교량 통행을 위한 경로 제공 시스템 및 그 방법{Route provision system for bridge passage of autonomous ships and the method thereof} 본 발명은 자율운항선박의 교량 통행을 위한 경로 제공 시스템 및 그 방법에 관한 것으로, 특히 자율운항선박이 교량을 통과하는 상황에서 교량 상판에 설치된 교량 표지부를 딥러닝 모델을 이용하여 인식한 후, 경로를 생성하여 제공함으로써 교량 하부를 안전하게 통행할 수 있는 자율운항선박의 교량 통행을 위한 경로 제공 시스템 및 그 방법에 관한 것이다. 최근 선박 산업에서 자율운항선박이 큰 주목을 받고 있다. 자율운항선박은 차세대 고부가 가치 선박으로 세계 각국의 개발이 활발하게 진행되고 있으며, 미래 조선 산업의 핵심으로 평가받고 있다. 또한 내수면 교통 시스템, 항만 자동화 측면에서도 유용하게 활용될 수 있는 기술이다. 이를 위해 교각이 많은 내수면 환경에서는 선박이 교각 하부를 안전하게 운행하는 것이 필요하다. 국내외에서 개발되고 있는 자율운항선박의 경우 대양에서 활용되는 기술들이 주로 개발되고 있으며 선박 간 충돌회피를 통한 안전 운항 및 대양 내 최적 경로생성을 통한 경제 운항을 하는데 중점을 두고 있다. 이러한 기술들은 연안 영역에서도 일부 활용할 수 있으나 연안에는 대양에는 없는 교량이 다수 존재하며 안전한 항만 입출항을 위해 자율운항선박이 타선 뿐만 아니라 교각도 정확하게 인식하고 회피할 수 있는 기술의 개발이 필요하다. 일반적으로 선박의 교각 충돌을 예방하기 위해 교각 주변에 충돌 방호공(방현재, 돌핀, 인공섬, 폰툰 등)을 건설하는 방법이 널리 사용되며 이는 선박의 충돌은 피할 수 없음을 전제하고 교각을 보호하는 것에 중점을 둔 방법으로 방호공 설치에 드는 비용 문제, 선박 선미 손상 문제 등이 있었다. 또한, 교량에 라이다와 통신 모듈을 장착하여 교량에 접근하는 선박의 높이가 교량 진입 불가일 경우 관제센터 및 접근 선박에 경고를 보내는 방법이 있으나 이는 선박의 교각 충돌을 방지할 수 없었다. 또한, 이외에도 예인선을 활용하는 방법이 있으나 운용 비용 등이 발생하는 다양한 문제점이 있다. 도 1은 본 발명의 일 실시예에 따른 자율운항선박의 교량 통행을 위한 경로 제공 시스템의 구성을 개략적으로 도시한 도면. 도 2는 본 발명의 카메라를 이용하여 교량 표지부를 촬영한 2차원 이미지의 예를 보여주는 도면. 도 3은 본 발명의 2차원 이미지 데이터 좌표계와 라이다의 3차원 데이터 좌표계가 일치하도록 보정한 예를 보여주는 도면. 도 4는 본 발명의 딥러닝 모델을 이용한 교량 표시부를 인식한 예를 보여주는 도면. 도 5는 상기 도 4의 교량 표시부의 인식된 결과를 라이다 좌표 데이터로 보여주는 도면. 도 6은 상기 도 5의 라이다 좌표계에서 방향 벡터를 계산하는 예를 보여주는 도면. 도 7은 본 발명의 교각 진입 경로 및 교각 진출 경로의 경유점을 생성한 결과를 보여주는 도면. 도 8은 본 발명의 일 실시예에 따른 자율운항선박의 교량 통행을 위한 경로 제공 방법에 대한 순서도. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면을 참조하여 상세하게 설명하도록 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는이라는 용어는 복수의 관련된 기재 항목들의 조합 또는 복수의 관련된 기재 항목들 중의 어느 항목을 포함한다. 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다. 도 1은 본 발명의 일 실시예에 따른 자율운항선박의 교량 통행을 위한 경로 제공 시스템의 구성을 개략적으로 도시한 도면이고, 도 2는 본 발명의 카메라를 이용하여 교량 표지부를 촬영한 2차원 이미지의 예를 보여주는 도면이고, 도 3은 본 발명의 2차원 이미지 데이터 좌표계와 라이다의 3차원 데이터 좌표계가 일치하도록 보정한 예를 보여주는 도면이고, 도 4는 본 발명의 딥러닝 모델을 이용한 교량 표시부를 인식한 예를 보여주는 도면이고, 도 5는 상기 도 4의 교량 표시부의 인식된 결과를 라이다 좌표 데이터로 보여주는 도면이고, 도 6은 상기 도 5의 라이다 좌표계에서 방향 벡터를 계산하는 예를 보여주는 도면이고, 도 7은 본 발명의 교각 진입 경로 및 교각 진출 경로의 경유점을 생성한 결과를 보여주는 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 자율운항선박의 교량 통행을 위한 경로 제공 시스템(10)은, 데이터 획득 모듈(100) 및 경로 생성 모듈(200)로 구성될 수 있다. 구체적으로, 데이터 획득 모듈(100)은, 카메라(110), 라이다(120), GPS 수신기(130), 자세측정센서(140) 및 보정부(150)를 포함하여 구성될 수 있으며, 경로 생성 모듈(200)은 인식부(210) 및 경유점 생성부(220)를 포함하여 구성될 수 있다. 데이터 획득 모듈(100)은 카메라(110), 라이다(120), GPS 수신기(130), 자세측정센서(140) 및 보정부(150)를 포함하는 구성으로, 도 2에 도시된 바와 같이, 운항하는 선박의 현 위치에서 교량에 설치된 교량 표시부를 카메라를 이용하여 2차원 이미지 데이터로 획득하고, 라이다를 이용하여 3차원 데이터로 획득하여 상기 획득한 2차원 이미지 데이터와 상기 획득한 3차원 데이터의 좌표계가 일치하도록 보정하게 된다. 카메라(110)는 상기 교량에 설치된 교량 표시부를 2차원 이미지 데이터로 촬영하게 된다. 라이다(120)는 상기 교량 및 교량 표시부를 3차원 점군 데이터로 획득하게 된다. 여기서, 라이다는 적어도 하나 이상이 설치되어 거리에 따른 해상도 데이터 값을 다르게 획득할 수 있다. GPS 수신기(130)는 상기 선박의 현 위치 정보를 수신하여 현 위치에 따른 교량과의 거리 정보 등을 획득할 수 있다. 자세 측정 센서부(140)는 상기 선박의 자세(Attitude)와 방향(Heading)을 실시간으로 제공하는 AHRS(attitude heading reference system)인 센서 시스템으로 가속도계, 자이로스코프, 자력계 등의 센서를 활용해 물체의 움직임과 방향을 측정하게 된다. 이러한 센서들은 서로 연동되며, 칼만 필터(Kalman filter)나 보정 필터(Complementary filter)와 같은 알고리즘을 통해 자세(Attitude)와 방향(Heading) 정보를 실시간으로 계산한다. 여기서, 자세(Attitude)는 물체가 수평선에 대해 어떤 방향으로 기울어져 있는지를 나타내는 롤, 피치, 요 값을 포함하고, 헤딩(Heading)은 물체가 자기 북쪽을 기준으로 어느 방향을 향하고 있는지를 나타내는 값을 의미한다. 보정부(150)는 상기 카메라에서 촬영된 2차원 이미지 데이터의 좌표계와 상기 라이다에서 획득한 3차원 점군 데이터의 좌표계가 서로 일치하도록 보정하게 된다. 보다 구체적으로, 도 3에 도시된 바와 같이, 보정부(150)는 카메라와 라이다(LiDAR)에서 인식된 데이터를 캘리브레이션 과정을 수행하게 된다. 여기서, 캘리브레이션은 상기 카메라에서 촬영된 2차원 이미지 데이터와 라이다의 3차원 거리 정보를 효과적으로 결합하는 것으로 두 센서가 동일한 물체를 볼 때, 그 물체가 두 센서에서 동일한 좌표에 위치하도록 조정하는 과정을 의미한다. 다시 말해, 카메라(110)는 2D 이미지 데이터를 제공하며, 색상, 텍스처 등의 시각적 정보를 획득하고, 라이다(120)는 3D 점군(point cloud) 데이터를 제공하며, 레이저를 통해 물체까지의 거리를 측정하여 주변 환경의 형상을 생성하게 된다. 즉, 카메라와 라이다의 데이터를 융합하기 위해서는 각 좌표계를 일치시키는 캘리브레이션 과정이 필요하며, 이를 통해 3D 공간에서의 정확한 물체 위치를 알 수 있게 된다. 이러한 캘리브레이션 과정에는 내부 캘리브레이션(Intrinsic Calibration) 및 외부 캘리브레이션(Extrinsic Calibration)을 진행하게 된다. 먼저, 내부 캘리브레이션(Intrinsic Calibration)은 카메라(110)와 라이다(120) 각각의 내부 파라미터를 조정하는 과정으로, 예컨대, 카메라(110)의 경우 렌즈 왜곡, 초점 거리 등을 보정하고, 라이다(120)는 각 레이저의 정밀도를 고려하게 된다. 그리고, 외부 캘리브레이션(Extrinsic Calibration)은 카메라(110)와 라이다(120) 간의 상대적인 위치와 자세(회전, 평행 이동)를 결정하는 과정으로, 이는 라이다의 좌표계와 카메라의 좌표계가 서로 어떻게 연결되는지를 나타내며, 이를 통해 카메라(110)와 라이다(120)가 동일한 물체를 동일한 위치에서 볼 수 있도록 하게 된다. 예를 들어, 카메라