Search

KR-20260061867-A - System on Chip(SoC) based Artificial Intelligent Sorting device for recyclable items

KR20260061867AKR 20260061867 AKR20260061867 AKR 20260061867AKR-20260061867-A

Abstract

본 발명에 따른 SoC 기반 인공지능형 재활용품 선별장치는, 재활용품을 포함하는 폐기물을 이동시키는 컨베이어부, 상기 컨베이어부의 중도에 설치되어 이동하는 폐기물에 대한 이미지 영상과 상기 이미지 영상의 픽셀별 depth 정보를 획득하는 카메라부, 상기 폐기물에 포함된 재활용품을 파지하여 외부로 이송하는 이송로봇부, 및 상기 컨베이어부, 카메라부, 이송로봇부를 제어하는 제어부를 포함하고, 상기 제어부는, 인공지능 기반의 객체 탐지(object detection) 알고리즘을 이용하여 상기 이미지 영상에 포함된 재활용품을 탐지하고, 탐지된 재활용품에 대한 바운딩 박스(bounding box) 정보를 생성하는 영상처리 모듈, 상기 바운딩 박스 정보와 이미지 영상의 픽셀별 depth 정보를 이용하여 상기 탐지된 재활용품의 중심점 주변부에 관한 depth 정보인 중심점에 대한 depth 보정값을 연산하는 depth 연산모듈, 및 상기 탐지된 재활용품의 바운딩 박스 정보와 중심점에 대한 depth 보정값을 이용하여 상기 이송로봇부의 동작을 제어하는 제어 모듈을 포함하되, 상기 제어부는 상기 제어모듈에 필요한 작업을 수행하는 제1프로세서와 상기 영상처리 모듈과 depth 연산모듈에 필요한 작업을 수행하는 제2프로세서가 메모리를 공유하는 통합 메모리 구조의 SoC로 구성된 것을 특징으로 한다.

Inventors

  • 전우진

Assignees

  • 주식회사 윔

Dates

Publication Date
20260506
Application Date
20241028

Claims (5)

  1. 재활용품을 포함하는 폐기물을 이동시키는 컨베이어부; 상기 컨베이어부의 중도에 설치되어 이동하는 폐기물에 대한 이미지 영상과 상기 이미지 영상의 픽셀별 depth 정보를 획득하는 카메라부; 상기 폐기물에 포함된 재활용품을 파지하여 외부로 이송하는 이송로봇부; 및 상기 컨베이어부, 카메라부, 이송로봇부를 제어하는 제어부를 포함하고, 상기 제어부는, 인공지능 기반의 객체 탐지(object detection) 알고리즘을 이용하여 상기 이미지 영상에 포함된 재활용품을 탐지하고, 탐지된 재활용품에 대한 바운딩 박스(bounding box) 정보를 생성하는 영상처리 모듈; 상기 바운딩 박스 정보와 이미지 영상의 픽셀별 depth 정보를 이용하여 상기 탐지된 재활용품의 중심점 주변부에 관한 depth 정보인 중심점에 대한 depth 보정값을 연산하는 depth 연산모듈; 및 상기 탐지된 재활용품의 바운딩 박스 정보와 중심점에 대한 depth 보정값을 이용하여 상기 이송로봇부의 동작을 제어하는 제어 모듈을 포함하되, 상기 제어부는, 상기 제어 모듈에 필요한 작업을 수행하는 제1프로세서와 상기 영상처리 모듈과 depth 연산모듈에 필요한 작업을 수행하는 제2프로세서가 메모리를 공유하는 통합 메모리 구조의 SoC로 구성된 것을 특징으로 하는 SoC 기반 인공지능형 재활용품 선별장치.
  2. 제1항에서, 상기 depth 연산 모듈은, 탐지된 재활용품에 대하여 중심점을 포함하는 형태로 이루어진 중심 영역을 설정한 후, 상기 중심 영역에 포함된 픽셀들의 depth 값을 이용하여 상기 재활용품의 중심점에 대한 depth 보정값을 연산하는 것을 특징으로 하는 SoC 기반 인공지능형 재활용품 선별장치.
  3. 제2항에서, 상기 depth 연산 모듈은, 상기 중심 영역에 포함된 각 픽셀별로 depth 값에 대한 가중치를 서로 다르게 부여하여 상기 재활용품의 중심점에 대한 depth 보정값을 연산하는 것을 특징으로 하는 SoC 기반 인공지능형 재활용품 선별장치.
  4. 제1항 내지 제3항 중 어느 하나의 항에서, 상기 제1 프로세서는 CPU(Central Processing Unit)로 이루어지고, 상기 제2 프로세서는 GPU(Graphics Processing Unit)로 이루어진 것을 특징으로 하는 SoC 기반 인공지능형 재활용품 선별장치.
  5. 제4항에서, 상기 이송로봇부는, 독립적으로 동작되는 복수의 로봇암과, 테두리 일측에 상기 로봇암의 각 단부가 연결되고 중앙부에 진공압력을 인가하거나 제거하여 상기 재활용품을 픽-앤-플레이스(pick and place)하는 진공 흡착부재를 구비한 그립퍼(gripper)를 포함하여 구성되고, 상기 제1 프로세서는 상기 복수의 로봇암과 상기 진공 흡착부재의 동작을 제어하고, 상기 제2 프로세서는 상기 영상처리 모듈과 depth 연산모듈의 연산작업, 상기 이송로봇부의 동작 경로를 설정하기 위한 모션 플래닝(motion planning) 연산작업, 상기 설정된 경로에 따른 로봇암 각각의 변위량 연산 작업을 실행하는 것을 특징으로 하는 SoC 기반 인공지능형 재활용품 선별장치.

Description

SoC 기반 인공지능형 재활용품 선별장치{System on Chip(SoC) based Artificial Intelligent Sorting device for recyclable items} 본 발명은 SoC 기반 인공지능형 재활용품 선별 장치에 관한 것으로서, 더욱 구체적으로는 딥러닝 기반의 객체 탐지(object detection) 알고리즘에 의해 재활용 대상인 객체를 식별하여 선별하되, 객체 식별 및 이송로봇의 동작제어를 위해 복수의 프로세서를 구비한 제어모듈을 통합 메모리 구조(unified memory architecture, UMA)의 SoC로 구성함으로써 재활용 객체의 선별효율을 현저히 향상시킬 수 있는 SoC 기반 인공지능형 재활용품 선별장치에 관한 것이다. 근래 들어, 전세계적으로 급속한 산업화에 따른 다양한 공산품의 대량 생산 및 소비로 인하여 생활 및 산업 폐기물의 배출량이 폭발적으로 증가하고 있으며, 이는 막대한 자원의 낭비와 심각한 환경 오염의 문제를 야기하고 있다. 따라서, 최근에는 폐기물 배출량을 줄이고 한정된 자원을 선순환시키기 위하여 세계 각국 및 지방자치단체에서는 플라스틱, 캔, 병, 종이와 같은 재활용 가능한 자원의 분리 수거를 장려 및 의무화하고 있다. 그러나, 종래에는 재활용품의 분리 수거 작업이 대부분 시간과 비용이 많이 소요되는 수작업으로 이루어지기 때문에 대규모 작업시 경제성이 저하될 뿐만 아니라, 작업자의 숙련도나 컨디션에 따라 분리 수거 작업의 정확성이 영향을 받기 때문에 작업효율이 일정하게 유지되기 곤란한 문제점이 있었다. 따라서, 최근에는 이와 같은 문제점을 해결하기 위하여 영상 기반의 딥러닝 기술을 이용하여 재활용품을 자동으로 정확하게 식별하여 선별하는 기술이 개발되었는데, 이에 대한 구체적인 내용은 하기 [문헌 1]과 [문헌 2]에 개시되어 있다. 그러나, 하기 [문헌 1]과 [문헌 2]의 경우 2차원의 객체 이미지 영상을 이용하여 객체를 선별하는 방식이기 때문에 재활용품의 식별은 종류별로 어느 정도 정확하게 이루어질 수 있으나, 식별된 객체를 이송로봇을 이용하여 이송하는 경우 객체에 대한 높이(depth) 정보가 없기 때문에 재활용품의 이송 효율이 저하되어 전체적으로 재활용품의 선별 효율이 저하되는 문제점이 있다. 한편, 하기 [문헌 1]과 [문헌 2] 등에서 이송로봇의 제어장치는 일반적으로 마이크로프로세서, 메모리 IC, 입출력 IC 등 개별 IC 칩을 조합해서 사용하도록 구성되는데, 이 경우 회로 설계와 배선이 복잡해지고 전체 시스템의 크기와 전력 소비가 증가하는 문제점이 있었다. 더욱이, 최근 AI 기술의 발달로 센서 데이터 처리나 딥러닝 수행에 많은 연산이 요구됨에 따라 기존의 단일 프로세서로 구성되던 이송로봇의 제어장치가 직렬 연산을 위한 프로세서와 병렬 연산을 위한 프로세서를 별도로 구비하도록 구성되면서 이러한 문제점은 더욱 가중되고 있다. [문헌 1] 한국등록특허 제10-2222176호(2021. 2. 24. 공고) [문헌 2] 한국등록특허 제10-2222177호(2021. 2. 24. 공고) 도1은 본 발명의 일실시예에 따른 SoC 기반 인공지능형 재활용품 선별장치의 전체 구성을 나타낸 도면, 도2는 도1에 도시한 이송로봇부의 상세 구성을 나타낸 도면, 도3은 도1에 도시한 장치의 동작구성을 설명하기 위한 블럭도, 도4는 도3에 도시한 제어부의 구성을 설명하기 위한 블럭도, 도5는 도1에 도시한 장치의 동작을 설명하기 위한 순서도, 도6 내지 도8은 각각 도1에 도시한 장치에서 객체의 중심점에 대한 depth 보정값을 연산하는 방법을 설명하기 위한 도면, 및 도9는 도1에 도시한 장치에서 객체의 중심점에 대한 depth 보정값을 연산하는 경우 적용되는 픽셀별 가중치 필터를 설명하기 위한 도면이다. 이하에서는 본 발명의 바람직한 실시예를 첨부한 도면을 이용하여 구체적으로 설명하기로 한다. 도1은 본 발명의 일실시예에 따른 SoC 기반 인공지능형 재활용품 선별장치의 전체 구성을 나타낸 도면이고, 도2는 도1에 도시한 이송로봇부의 상세 구성을 나타낸 도면이다. 또한, 도3은 도1에 도시한 장치의 동작구성을 설명하기 위한 블럭도이고, 도4는 도3에 도시한 제어부의 구성을 설명하기 위한 블럭도이다. 본 발명에 따른 SoC 기반 인공지능형 재활용품 선별장치(1)는 분리 수거하고자하는 재활용품을 포함하는 폐기물(R)을 이동시키는 컨베이어부(10), 상기 컨베이어부(10)의 중도에 설치된 거치대(20), 및 상기 컨베이어부(10)의 일측에 설치되어 컨베이어부(10)의 이동속도를 측정하는 엔코더(encoder)부(60)를 포함하여 구성된다. 이때, 상기 거치대(10)는 대략 'ㄷ'자 형상으로 이루어지는데, 지면에 수직하도록 각각 컨베이어부(10)의 일측과 타측에 설치된 한 쌍의 수직부재(미도시)와 상기 수직부재의 상단을 연결하는 수평부재(미도시)로 구성된다. 또한, 상기 거치대(20)의 일측에는 컨베이어부(10)에 의해 이동되는 폐기물(R)을 촬영하는 카메라부(40), 상기 카메라부(40)에서 촬영한 이미지 영상을 이용하여 분리 수거 대상인 재활용품을 판단하여 식별하는 에지 디바이스(30), 및 상기 에지 디바이스(30)의 판단결과에 따라 분리 수거 대상인 재활용품을 파지하여 컨베이어부(10)의 외부로 이송하는 이송로봇부(50)가 설치된다. 상기 카메라부(40)는 컨베이어부(10)에 의해 이동되는 폐기물(R)을 상부 방향에서 촬영할 수 있도록 상기 거치대(20)의 수평부재 일측에 설치되는데, 폐기물(R)에 대한 이미지 영상 뿐만 아니라 상기 이미지 영상의 각 픽셀별 depth(깊이) 정보를 동시에 획득하도록 구성된다. 이를 위하여, 상기 카메라부(40)는 복수의 카메라 또는 rgb-d 카메라 등으로 바람직하게 구성될 수 있는데, 본 실시예에서는 일예로서 상기 카메라부(40)를 좌우 한 쌍의 카메라로 이루어진 스테레오 카메라(stereo camera)로 구성하였다. 또한, 상기 에지 디바이스(30)는 상기 거치대(20)의 일측에 설치되어 본 발명에 따른 SoC 기반 인공지능형 재활용품 선별장치의 동작을 제어하는 제어부(100)를 포함하도록 구성된다. 또한, 상기 제어부(100)는 카메라부(40), 이송로봇부(50)를 구동하기 위한 이송로봇 구동부(150), 컨베이어부(10)를 구동하기 위한 컨베이어 구동부(160), 및 엔코더부(60)의 동작을 제어하도록 구성된다. 또한, 상기 제어부(100)는 도3에 도시한 바와 같이 카메라부(40)에서 촬영한 이미지 영상을 판단하여 분리 수거 대상인 재활용품을 식별하는 영상처리 모듈(120), 식별된 재활용품의 중심점에 대한 depth 보정값을 연산하는 depth 연산모듈(130), 및 후술하는 바와 같이 재활용품 선별 장치에 구비된 각 구성요소의 동작을 제어하는 제어모듈(110)을 포함하도록 구성된다. 또한, 상기 영상처리 모듈(120)은 인공지능 기반의 객체 탐지(object detection) 알고리즘을 이용하여 상기 카메라부(40)에서 촬영된 이미지 영상에 포함된 재활용품을 탐지하는 기능을 수행하는데, 상기 객체 탐지 알고리즘은 Faster R-CNN, R_FCN, FPN_FRCN, YOLO, SSD, RetinaNet 등의 알고리즘 중 어느 하나일 수 있다. 본 실시예에서는 상기 영상처리 모듈(120)이 단일 단계 방식의 객체 탐지 알고리즘 중 하나인 YOLO(구체적으로는 YOLO v5) 알고리즘을 이용하여 분리 수거 대상인 재활용품을 탐지하고, 탐지된 재활용품에 대한 바운딩 박스(bounding box) 정보를 생성하는 기능을 수행하도록 구성하였다. 이때, 상기 바운딩 박스 정보는 객체(즉, 탐지된 재활용품) 중심점의 평면 좌표(x좌표와 y좌표)에 관한 정보, 객체의 가로길이(W)와 세로길이(H)에 관한 정보, 객체의 분류 클래스(class)에 관한 정보(class 종류 및 정확도 확률)를 포함하도록 구성된다. 이를 위하여, 상기 영상처리 모듈(120)에는 분리 수거 대상인 재활용품에 관한 다양한 정보가 분류 class 별로 미리 학습된 YOLO v5 알고리즘이 저장되어 있는데, 상기 YOLO v5 알고리즘은 에지 디바이스(30)에 탑재가 용이하도록 하기 위하여 TensorRT와 같은 딥러닝 모델 최적화 엔진에 의한 경량화 작업이 이루어지는 것이 더욱 바람직하다. 또한, 상기 depth 연산모듈(130)은 상기 바운딩 박스 정보와 이미지 영상의 픽셀별 depth 정보를 이용하여 후술하는 방식으로 상기 탐지된 재활용품의 중심점에 대한 depth 보정값을 연산하도록 구성된다. 또한, 상기 제어모듈(110)은 상기 탐지된 재활용품의 바운딩 박스 정보와 중심점에 대한 depth 보정값을 이용하여 후술하는 이송로봇부(50)의 동작을 제어하는 기능을 수행하게 된다. 상기 제어부(100)는 도4에 도시된 바와 같이, 통합 메모리 구조의 SoC(System-on-Chip)로 마련될 수 있는데, 상기 제어부(100)는 제1 프로세서(101), 제2 프로세서(102), 가속기(103) 및 통합 메모리(104)를 포함할 수 있다. 상기 제1 프로세서(101), 제2 프로세서(102), 가속기(103) 및 통합 메모리(104)는 도4에 도시된 바와 같이, 하나의 제어보드 상에 마련되는 것에 의해 제어부(100)의 부피를 최소화할 수 있으며, 이종 프로세서의 통합 메모리 구조에 의하여 프로세서간 데이터 전송 및 동기화 과정에서 발생되는 병목 현상에 따른 문제점(제어속도 저하, 소비전력 증가, 발열 등)을 해결함으로써 이송로봇 제어의 효율성을 향상시킬 수 있는 장점이 있다. 본 실시예의 경우, 상기 제1 프로세서(101)는 일예로서 CPU(Central Processing Unit)로 이루어질 수 있으며, 제2 프로세서(102)는 일예로서 GPU(Graphics Processing Unit)로 이루어질 수 있다. 이 경우, 상기 제1 프로세서(101)는 제어부(100)의 전체 제어와 후술하는 상기 이송로봇부(50)의 복수의 로봇암(51)과 진공 흡착부재(52)의 동작 제어와 관련된 직렬 연산작업을 수행하고, 상기 제2 프로세서(102)는 상기 영상처리 모듈(120)과 depth 연산모듈(130)의