Search

KR-20260060487-A - A device for determining the cleaning status of a road and a system including the same

KR20260060487AKR 20260060487 AKR20260060487 AKR 20260060487AKR-20260060487-A

Abstract

본 발명의 실시예에 따른 도로의 청소 상태 판단 장치를 제공한다. 도로의 청소 상태 판단 장치는 이동하는 차량에서 도로를 촬영한 복수의 이미지들 각각에 대한 탐지 영역을 설정하는 설정부, 상기 탐지 영역 내에 존재하는 쓰레기를 인식하고 쓰레기에 대한 정보를 분류하는 분류부 및 상기 분류부가 분류한 쓰레기에 대한 정보를 고려하여 도로의 청소 상태를 판단하는 판단부를 포함한다.

Inventors

  • 이동주
  • 이장산
  • 김민석
  • 김민석
  • 강혜란

Assignees

  • 지에스건설 주식회사

Dates

Publication Date
20260506
Application Date
20241024

Claims (20)

  1. 이동하는 차량에서 도로를 촬영한 복수의 이미지들 각각에 대한 탐지 영역을 설정하는 설정부; 상기 탐지 영역 내에 존재하는 쓰레기를 인식하고 쓰레기에 대한 정보를 분류하는 분류부; 및 상기 분류부가 분류한 쓰레기에 대한 정보를 고려하여 도로의 청소 상태를 판단하는 판단부를 포함하는, 도로의 청소 상태 판단 장치.
  2. 제1 항에 있어서, 상기 설정부는 도로 상에 존재하는 차선 또는 연석 중 적어도 하나를 인식하고, 인식된 상기 차선 또는 상기 연석에 대한 정보에 기초하여 상기 탐지 영역을 설정하는, 도로의 청소 상태 판단 장치.
  3. 제2 항에 있어서, 상기 설정부는 상기 차량의 진행 방향을 고려하여 상기 복수의 이미지들을 통해 인식한 상기 차선이 상기 차량의 주행이 가능한 끝 차선임을 판단하고, 상기 끝 차선을 기준으로 상기 탐지 영역을 설정하는, 도로의 청소 상태 판단 장치.
  4. 제3 항에 있어서, 상기 설정부는 상기 끝 차선과 인접하는 상기 연석 또는 인접 차선을 구분하고, 상기 끝 차선과 상기 연석 사이의 공간을 제1 탐지 영역으로 설정하고, 상기 끝 차선과 상기 인접 차선 사이의 공간을 제2 탐지 영역으로 설정하는, 도로의 청소 상태 판단 장치.
  5. 제4 항에 있어서, 상기 인접 차선이 인식되지 않는 경우, 상기 설정부는 상기 끝 차선을 기준으로 특정되는 기설정된 면적을 상기 제2 탐지 영역으로 설정하거나, 상기 끝 차선을 기준으로 기설정된 거리가 이격된 임의의 가상의 차선을 기준으로 상기 제2 탐지 영역을 설정하는, 도로의 청소 상태 판단 장치.
  6. 제4 항에 있어서, 상기 판단부는 상기 제1 탐지 영역과 상기 제2 탐지 영역 내에 위치하는 쓰레기에 기초하여 도로의 청소 상태를 판단함에 있어 상기 제2 탐지 영역 대비 상기 제1 탐지 영역에 가중치를 두어 판단하는, 도로의 청소 상태 판단 장치.
  7. 제1 항에 있어서, 상기 설정부는 도로를 촬영한 이미지들을 입력 데이터로 학습한 제1 모델을 포함하고, 상기 입력 데이터는 도로 상의 실선, 점선 및 연석에 대한 이미지들을 포함하는, 도로의 청소 상태 판단 장치.
  8. 제7 항에 있어서, 상기 제1 모델은 도로 상의 실선, 점선 및 연석에 대한 색상을 학습하는, 도로의 청소 상태 판단 장치.
  9. 제1 항에 있어서, 상기 설정부는 상기 복수의 이미지들 각각에 대해 설정된 상기 탐지 영역을 제외한 영역을 제거하고, 상기 분류부는 상기 복수의 이미지들 각각에 대한 상기 탐지 영역 만을 이용하여 쓰레기에 대한 정보를 분류하는, 도로의 청소 상태 판단 장치.
  10. 제1 항에 있어서, 상기 분류부는 쓰레기에 대한 다수의 이미지들을 입력 데이터로 학습한 제2 모델을 포함하고, 상기 분류부는 쓰레기의 종류, 크기 및 개수를 구분하는, 도로의 청소 상태 판단 장치.
  11. 제10 항에 있어서, 상기 분류부는 상기 복수의 이미지들 내의 쓰레기를 둘러싸는 바운딩 박스를 생성하고, 상기 바운딩 박스의 면적에 기초하여 쓰레기의 크기를 구분하는, 도로의 청소 상태 판단 장치.
  12. 제10 항에 있어서, 쓰레기의 종류는 일반적인 쓰레기를 나타내는 제1 물체, 흙이나 나뭇잎과 같은 제2 물체 및 담배꽁초를 나타내는 제3 물체로 구분되고, 상기 제2 모델은 상기 제1 물체, 상기 제2 물체 및 상기 제3 물체로 구분된 쓰레기에 대한 이미지들을 학습하는, 도로의 청소 상태 판단 장치.
  13. 제1 항에 있어서, 상기 복수의 이미지들에 대한 전처리를 수행하는 전처리부를 더 포함하고, 상기 전처리부는 상기 차량의 야간 주행 시 촬영된 야간 이미지들에 대해서는 선명화(sharpening) 처리를 수행하는, 도로의 청소 상태 판단 장치.
  14. 도로의 청소를 수행하기 위한 청소 도구 및 도로를 상태를 촬영하기 위한 촬영부가 배치되는 청소차; 및 상기 촬영부가 촬영한 복수의 이미지들 각각에 대한 탐지 영역을 설정하고, 상기 탐지 영역 내에 존재하는 쓰레기를 인식하여 도로의 청소 상태를 판단하는 제어부를 포함하고, 상기 제어부는 상기 청소차로부터 수신한 상기 청소차의 위치 정보, 상기 청소 도구의 활성화 여부에 대한 정보 및 상기 복수의 이미지들 내의 차선에 대한 정보 중 적어도 하나에 기초하여 상기 복수의 이미지들 각각에 대한 상기 탐지 영역을 설정하는, 도로의 청소 상태 판단 시스템.
  15. 제14 항에 있어서, 상기 제어부는 상기 청소차로부터 상기 청소 도구의 활성화 여부에 대한 정보를 수신하고, 상기 청소 도구가 활성화 여부에 대한 정보가 수신되지 않은 경우, 상기 제어부는 상기 탐지 영역을 설정하는 과정을 수행하지 않는, 도로의 청소 상태 판단 시스템.
  16. 제14 항에 있어서, 상기 제어부는 상기 청소차의 위치 정보에 기초하여 상기 청소차가 청소를 수행하는 위치인지를 파악하고, 상기 청소차가 청소를 수행하는 것으로 판단되는 경우에 상기 제어부는 상기 복수의 이미지들 각각에 대한 상기 탐지 영역을 설정하는, 도로의 청소 상태 판단 시스템.
  17. 제14 항에 있어서, 상기 제어부는 상기 탐지 영역 내에 존재하는 쓰레기를 인식하고 쓰레기에 대한 정보를 분류하고, 분류한 쓰레기에 대한 정보를 고려하여 도로의 청소 상태를 판단하고, 상기 탐지 영역을 설정하고, 쓰레기에 대한 정보를 분류하는 것은 사전에 취득한 도로 상의 이미지들을 입력데이터로 이용하여 학습된 학습 모델에 의해 수행되는, 도로의 청소 상태 판단 시스템.
  18. 제17 항에 있어서, 상기 학습 모델은 상기 탐지 영역을 설정하는 제1 모델을 포함하고, 상기 제1 모델은 도로 상에 존재하는 차선 또는 연석 중 적어도 하나를 인식하고, 인식된 상기 차선 또는 상기 연석에 대한 정보에 기초하여 상기 탐지 영역을 설정하는, 도로의 청소 상태 판단 시스템.
  19. 제18 항에 있어서, 상기 제1 모델은 상기 청소차의 진행 방향을 고려하여 상기 복수의 이미지들을 통해 인식한 상기 차선이 상기 청소차의 주행이 가능한 끝 차선임을 판단하고, 상기 끝 차선을 기준으로 상기 탐지 영역을 설정하는, 도로의 청소 상태 판단 시스템.
  20. 제17 항에 있어서, 상기 학습 모델은 쓰레기에 대한 정보를 분류하는 제2 모델을 포함하고, 상기 제어부는 상기 복수의 이미지들 각각에 대해 설정된 상기 탐지 영역을 제외한 영역을 제거하고, 상기 제2 모델은 상기 복수의 이미지들 각각에 대한 상기 탐지 영역 만을 이용하여 쓰레기에 대한 정보를 분류하는, 도로의 청소 상태 판단 시스템.

Description

도로의 청소 상태 판단 장치 및 이를 포함하는 시스템{A device for determining the cleaning status of a road and a system including the same} 본 발명은 도로 상의 이미지들을 분석하여 쓰레기를 인식하고, 인식된 쓰레기에 대한 정보에 기초하여 도로의 청소 상태를 판단할 수 있는 도로의 청소 상태 판단 장치 및 이를 포함하는 시스템에 대한 것이다. 국민 의식 수준의 향상됨에 따라, 주변 환경 미화에 대한 관심이 날로 증대되고 있으며, 특히 도시 미관과 관련하여 폐기물의 처리가 중요시되고 있다. 이러한 가운데, 도로의 흙, 낙엽 및 모래, 각종 생활쓰레기(1회용 종이컵, 1회용 커피컵, 음료 PT, 캔)는 도시 미관을 해칠 뿐만 아니라 하수관거로 흘러 들어가거나 수질 오염을 유발하게 되므로 수시로 이를 제거할 필요가 있다. 현재, 도로를 청소하기 위한 청소차는 사람이 직접 운전하고 있고, 청소차에는 도로를 청소하기 위한 브러쉬, 먼지나 작은 쓰레기를 흡입하기 위한 흡입 장치 등이 장착된다. 청소차를 운행하는 운전자 또는 동승자는 도로의 청소가 제대로 되었는지 육안으로 확인하고 있다. 다만, 향후 자율주행의 보급에 따라 청소차는 이미 정해진 스케줄에 따라 스스로 운행될 수 있는바, 사람이 육안으로 도로의 청소 상태를 확인하기 어려워질 수 있다. 따라서, 청소차에 부착되는 카메라를 이용하여 도로의 청소 상태를 파악할 수 있으나, 청소 상태를 분석하기 위한 기준이나 청소 구역을 어떻게 특정할지에 대한 기준이 명확하지 않은 문제점이 존재한다. 도 1은 본 발명의 실시예에 따른 도로의 청소 상태 판단 시스템을 나타내는 블록도이다. 도 2는 본 발명의 실시예에 따른 청소차를 나타내는 도면이다. 도 3은 본 발명의 실시예에 따른 이미지의 세분화 과정을 나타내는 도면이다. 도 4는 본 발명의 실시예에 따른 이미지 내의 탐지 영역을 설정하는 과정을 나타내는 도면이다. 도 5는 본 발명의 실시예에 따른 탐지 영역 내의 쓰레기를 분류하는 과정을 나타내는 도면이다. 도 6은 본 발명의 다른 실시예에 따른 이미지 내의 탐지 영역을 설정하는 과정을 나타내는 도면이다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예는 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전문에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. 명세서에 기재된 "...부", "...유닛", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 본 명세서에서 구성의 명칭을 제1, 제2 등으로 구분한 것은 그 구성의 명칭이 동일한 관계로 이를 구분하기 위한 것으로, 하기의 설명에서 반드시 그 순서에 한정되는 것은 아니다. 상세한 설명은 본 발명을 예시하는 것이다. 또한 전술한 내용은 본 발명의 바람직한 실시 형태를 나타내어 설명하는 것이며, 본 발명은 다양한 다른 조합, 변경 및 환경에서 사용할 수 있다. 즉 본 명세서에 개시된 발명의 개념의 범위, 기술한 개시 내용과 균등한 범위 및/또는 당업계의 기술 또는 지식의 범위 내에서 변경 또는 수정이 가능하다. 기술한 실시예는 본 발명의 기술적 사상을 구현하기 위한 최선의 상태를 설명하는 것이며, 본 발명의 구체적인 적용 분야 및 용도에서 요구되는 다양한 변경도 가능하다. 따라서 이상의 발명의 상세한 설명은 개시된 실시 상태로 본 발명을 제한하려는 의도가 아니다. 또한 첨부된 청구범위는 다른 실시 상태도 포함하는 것으로 해석되어야 한다. 도 1은 본 발명의 실시예에 따른 도로의 청소 상태 판단 시스템을 나타내는 블록도이고, 도 2는 본 발명의 실시예에 따른 청소차를 나타내는 도면이다. 도 1 및 도 2를 참조하면, 도로의 청소 상태 판단 시스템(1)은 차량(100)에 의해 획득된 정보에 기초하여 도로의 청소 상태를 판단할 수 있다. 도로의 청소 상태 판단 시스템(1)은 차량(100)이 획득한 정보에 기초하여 제어부(200)에 의해 구현될 수 있다. 일 예로, 제어부(200)는 차량(100)을 제어하는 관제 센터 또는 차량(100)으로부터 획득한 정보를 분석하는 별도의 컴퓨팅 장치의 일부일 수 있다. 다른 예로, 제어부(200)는 차량(100)을 제어하여 차량(100)으로부터 획득한 정보를 분석하는 서버의 일종일 수 있다. 제어부(200)는 적어도 하나의 프로세서 및 메모리를 포함할 수 있다. 프로세서는 하나 이상의 코어로 구성될 수 있으며, 컴퓨팅 장치의 중앙 처리 장치(CPU: central processing unit), 범용 그래픽 처리 장치 (GPGPU: general purpose graphics processing unit), 텐서 처리 장치(TPU: tensor processing unit) 및 어플리케이션 중앙처리장치(AP: application processor) 등의 데이터 분석, 딥러닝을 위한 프로세서를 포함할 수 있다. 하나 또는 복수의 프로세서는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어할 수 있다. 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다. 프로세서는 메모리에 저장된 컴퓨터 프로그램 또는 명령어를 판독하여 본 실시예에 따른 실내 측위 보정 시스템을 위한 데이터 처리를 수행할 수 있다. 메모리는 본 발명의 실시예에 따른 실내 측위 보정 시스템에 요구되는 다양한 정보를 저장할 수 있다. 메모리는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 메모리는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체를 포함할 수 있다. 전술한 메모리에 대한 기재는 예시일 뿐, 본 개시는 이에 제한되지 않는다. 도로 상의 쓰레기를 청소하기 위한 차량(100)은 청소를 위한 청소 도구(110), 도로를 촬영하기 위한 촬영부(130) 및 차량을 제어하기 위한 차량 제어부(150)를 포함할 수 있다. 도로 상의 쓰레기를 청소하기 위한 차량(100)은 청소차일 수 있다. 차량(100)은 도로 상의 끝 차선을 따라 이동될 수 있다. 예를 들어, 끝 차선은 중앙선을 기준으로 가장 멀리 위치하는 차선을 의미할 수 있다. 일반적으로, 도로 상의 쓰레기는 차선의 끝 부분으로 이동되고, 특히 연석이 존재하는 도로에서 쓰레기는 연석과 인접한 위치에 모이게 된다. 따라서, 청소를 위한 차량(100)은 도로 상의 끝 차선을 따라 이동하면서 쓰레기를 수집하게 된다. 청소 도구(110)는 차량(100)의 전방 또는 후방 중 적어도 하나의 위치에 부착될 수 있다. 청소 도구(110)는 차량(100)의 위치, 미리 결정된 스케줄 및 도로의 상황 등에 기초하여 활성화 여부가 결정될 수 있다. 청소 도구(110)의 활성화 여부에 대한 정보는 차량 제어부(150)에 의해 파악될 수 있다. 다시 말해, 차량 제어부(150)가 청소 도구(110)의 활성화 여부를 결정할 수 있다. 촬영부(130)는 도로를 촬영할 수 있다. 일 예로, 촬영부(130)는 차량(100)의 후방에 배치될 수 있다. 촬영부(130)는 청소 도구(110)에 의해 청소가 완료된 도로의 상태를 촬영할 수 있다. 따라서, 촬영부(130)는 쓰레기가 다수 존재할 것으로 예상되고 청소차의 주요 청소 구역인 차량(100)의 주행 방향을 기준으로 오른쪽 영역을 촬영할 수 있다. 예를 들어, 촬영부(130)는 차량(100)이 주행하는 도로 상의 끝 차선을 중심으로 촬영을 수행할 수 있다. 촬영부(130)가 촬영한 복수의 이미지들은 차량 제어부(150)로 전송될 수 있다. 차량 제어부(150)는 차량(100)의 자율주행을 제어하거나 청소 도구(110)의 활성화 여부에 대한 정보, 차량(100)의 위치 정보 및 촬영부(130)가 촬영한 복수의 이미지들을 제어부(200)로 전송할 수 있다. 일 예로, 차량 제어부(150)는 차량(100)의 구동부, 제동부 및 조향부 등을 제어할 수 있다. 차량 제어부(150)는 차량(100)에 탑재된 카메라, 라이다 및 레이더 중 적어도 하나로부터 수신된 정보에 기초하여 차량(100)을 제어할 수 있다. 일 예로, 차량 제어부(150)는 청소 도구(110)의 활성화 여부에 대한 정보를 제어부(200)로 전송할 수 있다. 청소 도구(110)가 활성화되지 않은 상태에서는 촬영부(130)가 촬영을 수행하지 않을 수 있다. 또한, 청소 도구(110)가 활성화되지 않은 상태에서 촬영부(130)가 촬영을 수행하더라도, 제어부(200)는 촬영부(130)가 촬영한 이미지들의 분석을 수행하지 않을 수 있다. 일 예로, 차량 제어부(150)는 차량(100)의 위치 정보를 제어부(200)로 전송할 수 있다. 제어부(200)는 차량(100)의 위치 정보에 기초하여 차량(100)에 부착된 청소 도구(110)가 활성화된 상태인지 또는 청소가 수행 중인지 여부를 판단할 수 있다. 또한