KR-102962030-B1 - DIGITAL TWIN-BASED TRANSFER ROBOT SYSTEM AND TRANSFER ROBOT MONITORING METHOD

KR102962030B1KR 102962030 B1KR102962030 B1KR 102962030B1KR-102962030-B1

Abstract

실시예에 따른 디지털 트윈 기반의 이송로봇 시스템은 물건의 출발지, 도착지, 물건 종류를 포함하는 이송정보에 따라 물건을 이송하는 이송 로봇; 이송로봇의 모니터링 데이터 및 이송정보에 따라 상기 이송로봇의 디지털 트윈을 생성하고, 디지털 트윈에서 이송로봇의 수명과 고장여부를 예측하고, 디지털 트윈에 의한 이송 시뮬레이션을 시각화하는 서버; 및 서버로부터 이송 시뮬레이션을 수신하여 출력하는 모니터링 단말; 을 포함하고, 이송로봇의 모니터링 데이터는 이송 로봇 내부의 음향정보, IMU센서값, 상기 이송로봇에 포함된 부품들의 사용 횟수를 포함한다.

Inventors

이학
박훈민

Assignees

경북대학교 산학협력단

Dates

Publication Date: 20260506
Application Date: 20240130

Claims (10)

물건의 출발지, 도착지, 물건 종류를 포함하는 이송정보에 따라 물건을 이송하는 이송 로봇; 상기 이송로봇의 모니터링 데이터 및 이송정보에 따라 상기 이송로봇의 디지털 트윈을 생성하고, 상기 디지털 트윈에서 이송로봇의 수명과 고장여부를 예측하고, 상기 디지털 트윈에 의한 이송 시뮬레이션을 시각화하는 서버; 및 상기 서버로부터 이송 시뮬레이션을 수신하여 출력하는 모니터링 단말; 을 포함하고, 상기 이송로봇의 모니터링 데이터는 이송 로봇 내부의 음향정보, IMU센서값, 상기 이송로봇에 포함된 부품들의 사용 횟수를 포함하되, 상기 서버는 이송로봇의 모니터링 데이터와 상기 모니터링 데이터에 기반한 이송로봇의 수명정보 및 고장정보를 학습하여 수명 예측 모델을 구현하고, 상기 수명 예측 모델은 이송로봇의 디지털 트윈에서 이송로봇에 포함된 부품의 사용 횟수, 환경조건 및 음향정보를 포함하는 모니터링 데이터에 따라 이송로봇의 고장여부 및 예상수명을 산출하고, 상기 수명 예측 모델은 음향 센서를 통해 수집한 음향정보를 이미지로 변환하고, 상기 변환된 이미지에서 특징 데이터를 추출하여 평활화(Flatten)하고 이송로봇의 IMU센서값과 부품들의 수명 데이터를 수집하고, 상기 평활화된 특징데이터와 상기 IMU센서값과 부품들의 수명 데이터를 FCL(Fully Connected Layer)에서 통합하여 판단용 데이터를 생성하고, 상기 생성된 판단용 데이터 분석에 따라 이송로봇의 예상 수명과 고장 여부를 판단하는, 디지털 트윈 기반의 이송로봇 시스템.
제1항에 있어서, 상기 이송로봇은 복수개의 바퀴; 장애물을 포함하는 외부 환경 인식을 위한 라이다(LIDAR) 센서; 주변 환경을 촬영하는 카메라; 위치, 속도 측정을 위한 GPS 센서; 이송로봇의 자세, 가속도, 각가속도를 측정하는 IMU 센서; 및 이송로봇 프레임 내부의 구동모터 주변에 장착되어 이송로봇 내부에서 발생하는 소리와 구동 모터에서 발생하는 소리를 측정하여 음향정보를 생성하는 음향센서; 를 포함하는, 디지털 트윈 기반의 이송로봇 시스템.
삭제
제1항에 있어서, 상기 서버는 3차원으로 모델링된 디지털 지도 및 이송로봇의 디지털 트윈을 이용하여 이송로봇의 이송 시뮬레이션을 3차원 가상 환경으로 생성하고, 상기 3차원 가상환경은 이송로봇의 디지털 트윈을 통해 획득한 이송로봇의 실시간 주행정보, 수명 예측 모델에 의해 산출된 예상수명, 고장여부를 포함하고, 상기 3차원 가상환경은 상기 이송로봇이 이송 중인 경우, 임무 수행 상황을 더 포함하고, 상기 임무 수행 상황은 물건을 이송하는데 걸리는 시간, 도착까지 남은 거리, 전체 임무 수행률을 포함하고 상기 실시간 주행 정보는 이송로봇의 실제 위치, 속도를 포함하는, 디지털 트윈 기반의 이송로봇 시스템.
삭제
(A) 이송 로봇에서 물건의 출발지, 도착지, 물건 종류를 포함하는 이송정보에 따라 물건을 이송하는 단계; (B) 서버에서 상기 이송로봇의 모니터링 데이터 및 이송정보에 따라 상기 이송로봇의 디지털 트윈을 생성하고, 상기 디지털 트윈에서 이송로봇의 수명과 고장여부를 예측하고, 상기 디지털 트윈에 의한 이송 시뮬레이션을 시각화하는 단계; 및 (C) 모니터링 단말에서 상기 서버로부터 이송 시뮬레이션을 수신하여 출력하는 단계; 을 포함하고, 상기 이송로봇의 모니터링 데이터는 이송 로봇 내부의 음향정보, IMU센서값, 상기 이송로봇에 포함된 부품들의 사용 횟수를 포함하되, 상기 (B)의 단계; 는 이송로봇의 모니터링 데이터와 상기 모니터링 데이터에 기반한 이송로봇의 수명정보 및 고장정보를 학습하여 수명 예측 모델을 구현하고, 상기 수명 예측 모델은 이송로봇의 디지털 트윈에서 이송로봇에 포함된 부품의 사용 횟수, 환경조건 및 음향정보를 포함하는 모니터링 데이터에 따라 이송로봇의 고장여부 및 예상수명을 산출하고, 상기 수명 예측 모델은 음향 센서를 통해 수집한 음향정보를 이미지로 변환하고, 상기 변환된 이미지에서 특징 데이터를 추출하여 평활화(Flatten)하는 단계; 이송로봇의 IMU센서값과 부품들의 수명 데이터를 수집하고, 상기 평활화된 특징데이터와 상기 IMU센서값과 부품들의 수명 데이터를 FCL(Fully Connected Layer)에서 통합하여 판단용 데이터를 생성하는 단계; 및 상기 생성된 판단용 데이터 분석에 따라 이송로봇의 예상 수명과 고장 여부를 판단하는 단계; 를 수행하는, 디지털 트윈 기반의 이송로봇 모니터링 방법.
삭제
제6항에 있어서, 상기 (B)의 단계; 는 3차원으로 모델링된 디지털 지도 및 이송로봇의 디지털 트윈을 이용하여 이송로봇의 이송 시뮬레이션을 3차원 가상 환경으로 생성하고, 상기 3차원 가상환경은 이송로봇의 디지털 트윈을 통해 획득한 이송로봇의 실시간 주행정보, 수명 예측 모델에 의해 산출된 예상수명, 고장여부를 포함하고, 상기 실시간 주행 정보는 이송로봇의 실제 위치, 속도를 포함하는, 디지털 트윈 기반의 이송로봇 모니터링 방법.
제8항에 있어서, 상기 3차원 가상환경은 상기 이송로봇이 이송 중인 경우, 임무 수행 상황을 더 포함하고, 상기 임무 수행 상황은 물건을 이송하는데 걸리는 시간, 도착까지 남은 거리, 전체 임무 수행률을 포함하는, 디지털 트윈 기반의 이송로봇 모니터링 방법.
삭제

Description

디지털 트윈 기반의 이송로봇 시스템 및 이송로봇 모니터링 방법{DIGITAL TWIN-BASED TRANSFER ROBOT SYSTEM AND TRANSFER ROBOT MONITORING METHOD} 본 개시는 디지털 트윈 기반의 이송로봇 시스템 및 이송로봇 모니터링 방법에 관한 것으로 구체적으로, 외부 환경에서 자율 주행이 가능한 이송 로봇에 디지털 트윈 기술을 적용한 이송로봇 시스템 및 이송로봇 모니터링 방법에 관한 것이다. 본과제(결과물)는 2023년도 교육부의 재원으로 한국연구재단의 지원을 받아 수행된 지자체-대학협력기반 지역혁신사업의 결과입니다.(재단과제관리번호: 2022RIS-006) 본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다. 디지털 트윈(Digital Twin)은 현실 세계의 물리적 또는 사회적 개체를 디지털 환경에서 모델링한 것이다. 이는 실제 물체나 프로세스의 디지털 복제물로서, 센서 데이터나 다양한 소스로부터 실시간 정보를 수집하고 그 정보를 활용하여 상태를 모니터링하고 예측하는데 사용된다. 디지털 트윈은 주로 산업, 제조업, 건설, 에너지, 건강 관리 등 다양한 분야에서 활용되고 있다. 디지털 트윈에는 다양한 장비, 시설, 제품, 프로세스 등이 포함될 수 있다. 디지털 트윈은 현실 세계의 대응하는 객체의 상태를 실시간으로 업데이트한다. 예컨대, 센서 데이터, IoT 기기 등을 통해 수집된 정보를 활용하여 정확한 모델을 유지한다. 디지털 트윈은 객체의 상태를 시뮬레이션하고 예측하는 데 사용된다. 이를 통해 문제를 사전에 감지하거나 최적화된 운영 방식을 탐색할 수 있다. 또한, 디지털 트윈은 여러 시스템과 연결되어 상호 작용하며, 여러 객체 간의 관계와 영향을 모델링합니다. 이는 시스템 전체의 통합성과 효율성을 향상시킬 수 있다. 아울러, 디지털 트윈은 디지털 트윈은 모델링된 객체의 데이터를 분석하여 의사 결정을 지원한다. 예를 들어, 유지 보수 일정을 최적화하거나 생산 공정에서 효율성을 높이는 데 활용될 수 있다. 디지털 트윈 기술은 제조업을 넘어 교통, 의료, 도시 계획 등 다양한 산업에 혁신을 가져오고 있다. 특히, 디지털 트윈은 실시간 데이터와 시뮬레이션을 통해 복잡한 시스템의 효과적인 모니터링과 최적화를 가능하게 한다. 따라서 디지털 트윈은 다양한 산업, 사회 등의 문제를 해결할 수 있는 기술로 주목받고 있다. 아울러, 코로나19 팬데믹으로 인한 비대면 서비스 활성화로, 안전하고 신뢰할 수 있는 디지털 트윈 기반의 이송 로봇 배달 시스템에 대한 수요가 증가하고 있다. 도 1은 실시예에 따른 디지털 트윈 기반의 이송로봇 시스템을 나타낸 도면 도 2는 실시예에 따른 이송로봇을 나타낸 도면 도 3은 실시예에 따른 서버의 블록도 도 4는 실시예에 따른 수명 예측 모델의 음향 정보 처리과정을 나타낸 도면 도 5는 실시예에 따른 이송 시뮬레이션 출력을 위한 인터페이스를 나타낸 도면 도 6은 실시예에 따른 디지털 트윈 기반의 이송로봇 모니터링 시스템의 신호 흐름도 도 7은 실시예에 따른 디지털 트윈에 탑재된 수명 예측 모델의 수명 예측 과정을 나타낸 도면 이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다. 본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다. 이하, 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다. 도 1은 실시예에 따른 디지털 트윈 기반의 이송로봇 시스템을 나타낸 도면이다. 도 1을 참조하면, 실시예에 따른 디지털 트윈 기반의 이송로봇 시스템은 이송로봇(200), 서버(100) 및 모니터링 단말(300)을 포함하여 구성될 수 있다. 이송로봇(200)은 물건의 출발지, 도착지, 물건 종류를 포함하는 이송정보에 따라 물건을 이송한다. 실시예에서 이송로봇(200)은 관리자 단말 또는 외부 이송 업체 서버를 통해 이송정보를 수집할 수 있다. 서버(100)는 이송로봇의 모니터링 데이터 및 이송정보에 따라 이송로봇의 디지털 트윈을 생성하고, 디지털 트윈에서 이송로봇(200)의 수명과 고장여부를 예측하고, 디지털 트윈에 의한 이송 시뮬레이션을 시각화 한다. 실시예에서 서버(100)는 이송로봇(200) 각각에 대한 디지털 트윈을 생성하고, 이송 시뮬레이션에 이송로봇(200)을 모사한 디지털 트윈 각각을 시각화하여 모니터링 단말(300)을 통해 출력할 수 있도록 한다. 모니터링 단말(300)은 서버(100)로부터 이송 시뮬레이션을 수신하여 출력한다. 실시예에서 모니터링 단말(300)은 XR(Extended Reality) 단말을 포함하고, 이송 시뮬레이션을 3차원 가상 현실로 출력할 수 있다. 실시예에서 XR 단말은 고글, 스마트 글래스, 스마트 패드 등 가상현실을 포함하는 시뮬레이션 출력이 가능한 컴퓨팅 장치이다. 실시예에서 이송로봇(200)의 모니터링 데이터는 이송 로봇(200)에 설치된 센서에 의해 수집되거나 이송로봇에 의해 생성되거나 이송로봇에 저장된 데이터이다. 예컨대, 이송로봇(200)의 모니터링 데이터는 이송 로봇 내부의 음향정보, IMU센서값, 이송로봇에 포함된 부품들의 사용 횟수 등을 포함하고 이에 한정하지 않는다. 실시예에 따른 디지털 트윈 기반의 이송로봇 시스템 및 이송로봇 모니터링 방법은 이송 로봇의 디지털 트윈을 생성하여 실제 이송 로봇을 3D CAD로 모델링한다. 이를 통해 이송 로봇의 수명, 고장 여부를 포함하는 상태정보를 실시간 모니터링 할 수 있도록 한다. 또한, 실시예에서 이송 로봇의 디지털 트윈은 수명 예측 모델을 포함하며, 수명 예측 모델은 이송 로봇 내부의 음향 정보, IMU센서 값, 각 부품들의 사용 횟수, 사용조건, 환경을 통해 이송로봇의 수명과 고장여부를 예측한다. 또한, 실시예에 따른 디지털 트윈 기반의 이송로봇 시스템 및 이송로봇 모니터링 방법은 3차원으로 모델링된 디지털 지도에서 디지털 트윈 이송 로봇의 배달 임무를 미리 시뮬레이션하여 배달 경로를 최적화한다. 또한, 실시예를 통해 관리자는 XR 장치를 통해 디지털 트윈으로 구성된 3차원 가상 환경에서 로봇의 실시간 위치, 환경을 시각적으로 확인할 수 있도록 한다. 또한, 실시예에서는 XR기반의 사용자 인터페이스를 제공하여, 관리자가 위치, 속도, 수명, 고장 정보를 포함하는 로봇의 상태와 도착 거리, 예상도착 시간, 임무 수행률 등을 포함하는 임무 수행 상황을 직관적으로 제공한다. 또한, 실시예에서 이송로봇의 디지털 트윈은 수명 모델을 포함하므로 내부 부품들의 사용 시간, 횟수, 환경조건 등의 정보를 포함하는 모니터링 데이터의 데이터베이스를 기반으로 이송 로봇의 고장을 예측할 수 있다. 또한, 실시예에 따른 디지털 트윈 기반의 이송로봇 시스템 및 이송로봇 모니터링 방법은 3차원 모델링된 디지털 지도와 이송로봇의 디지털 트윈을 3D 물리엔진을 이용한 가상 환경에서 구현한다. 도 2는 실시예에 따른 이송로봇을 나타낸 도면이다. 도 2를 참조하면, 실시예에 따른 이송로봇(200)은 이송정보에 따라 음식, 음료, 소매 상품, 약품 등의 다양한 물건을 이송하는 모빌리티 로봇을 포함한다. 도 2에 도시된 바와 같이 이송로봇(200) 라이다(LIDAR) 센서(10), IMU 센서(20), 임베디드 PC(30), 카메라(40), GPS 센서(50) 및 음향센서(60)을 포함하고, 복수개의 바퀴를 통해 이동한다. 실시예에서 이송로봇에는 구동 바퀴 2개, 캐스터 4개를 포함하는 총 6개의 바퀴가 설치될 수 있다. 임베디드