KR-102960333-B1 - The Robot Simulator System based on Data Acquisition of the Non-Rigid Human Motion and Real-Time 3D reconstruction of the Remote Environmental Information which supports Virtual Environment Visualization

KR102960333B1KR 102960333 B1KR102960333 B1KR 102960333B1KR-102960333-B1

Abstract

본 발명은 열악환경 현장의 휴머노이드 로봇을 다수의 원격 작업자가 제어하는데 필요한, 실시간 원격 환경정보 중계형 로봇 시뮬레이터에 관한 것으로 다수의 원격 조작자가 열악환경 현장의 실제 로봇시야에서 현장의 영상 정보를 수신하고 HMD(Head Mounted Display), IMU(Inertial Measurement Unit)센서, Pedal 등의 현장 로봇 조작기를 활용하여, 각각의 원격 작업자의 상반신에 대한 비정형 raw data를 모션 데이터로 변환하고 변환된 데이터를 열악환경 현장의 로봇에 전달하여 시뮬레이터에서 3차원으로 재구성된 가상환경 가시화정보를 통하여 원격 작업자 개개인이 조작하는 현장 로봇에 대한 실시간 정보를 확인가능하도록 하는 다자 사용자에 대한 비정형 모션 데이터 취득과 실시간 원격 환경정보 3차원 재구성 및 가상환경 가시화에 대한 로봇 시뮬레이터 시스템이다.

Inventors

양기혁

Assignees

(주)모션테크놀로지

Dates

Publication Date: 20260506
Application Date: 20231229

Claims (3)

작업자가 객체 인식과 3D 증강현실 기술로 원거리의 작업 상황을 판단하여 손가락이나 팔의 제스쳐로 원격 로봇 플랫폼을 정밀하게 모방 동작을 시켜 작업자와 로봇 간 원격 협업을 가능하게하는 텔레 오퍼레이션장치의 로봇 시뮬레이터 시스템에 있어서, 원격으로 열악환경 현장의 상기 로봇플랫폼에 대한 손과 팔 동작 조작을 위한 관성측정장치(IMU;Inertial Measurment Unit), 상기 로봇플랫폼의 위치 이동을 조작하기 위한 페달 장치, 및 상기 로봇 플랫폼의 시선 방향 배경을 디스플레이 하는 HMD(Head Mounted Display)를 포함하는 텔레오퍼레이션 스테이션; 및 상기 텔레오퍼레이션 스테이션의 IMU 및 페달 장치의 동작 정보를 상기 로봇플랫폼에 대한 모션 정보로 변환하는 모션정보변환부, 상기 로봇플랫폼의 시선 방향 배경 환경을 파노라마뷰로 구현하는 배경생성부, 및 상기 로봇플랫폼을 가상 로봇으로 애니메이션화하고 상기 모션정보변환부의 상기 모션정보에 따른 상기 로봇플랫폼의 움직임을 상기 가상 로봇의 움직임으로 가시화하는 가상 로봇 애니메이션부를 포함하는 로봇 시뮬레이터 중계서버를 포함하고, 상기 로봇플랫폼은 로봇의 센서리 데이터 획득을 위해 양안 스테레오스코픽 비전 센서, 쌍이 스테레오포닉 오디오 센서, 힘 반영 햅틱 조작 센서, 및 촉각 센서로 구성된 센서부와 상기 로봇 시뮬레이터 중계서버에서 전달된 모션 정보에 따른 움직임을 구현하기 위한 구동 메커니즘을 포함하는 동작부를 포함하고, 상기 가상 로봇 애니메이션부는, 상기 배경생성부의 파노라마뷰 안에서 상기 가상 로봇을 애니메이션을 구현하되, 상기 가상 로봇의 고개 회전은 상기 HMD의 center eye rotation을 사용하고, 상기 가상 로봇의 상체 관절 회전은 상기 IMU의 데이터에 따르고, 가상 환경에 배치된 상기 가상 로봇의 고개 회전 및 상체 관절 회전은 상기 로봇 플랫폼을 기반으로 구성되고, 상기 가상 로봇의 이동 및 회전은 상기 페달 장치의 입력값을 애니메이션 정보로 변환하여 수행하고, 상기 로봇 플랫폼의 시선 방향 배경을 상기 배경 생성부로부터 상기 텔레오퍼레이션 스테이션으로 전달하고 상기 텔레오퍼레이션 스테이션은 상기 시선방향 배경을 상기 HMD에 디스플레이하고, 다자 사용자에 대한 비정형 모션 데이터 취득과 실시간 원격 환경정보 3차원 재구성 및 가상환경 가시화에 대한 시뮬레이션부를 추가로 포함하고, 상기 시뮬레이션부는 디스플레이를 포함하여 상기 로봇시뮬레이터 중계서버의 상기 배경생성부에서 파노라마뷰 내에 상기 가상로봇 애니메이션부에서 생성된 가상 로봇 애니메이션을 상기 모션정보변환부의 모션정보에 따라 동작하도록 하여 상기 텔레오퍼레이션 스테이션에서 전달된는 동작 정보에 따라 동작하도록 하므로써 복수의 조작자에 의한 복수의 로봇플랫폼 각각의 동작의 정합성을 관리자가 시뮬레이션을 통해 모니터링하도록 하는 것을 특징으로 하는 로봇 시뮬레이터 시스템.
삭제
삭제

Description

다자 사용자에 대한 비정형 모션 데이터 취득과 실시간 원격 환경정보 3차원 재구성 및 가상환경 가시화에 대한 로봇 시뮬레이터 시스템{The Robot Simulator System based on Data Acquisition of the Non-Rigid Human Motion and Real-Time 3D reconstruction of the Remote Environmental Information which supports Virtual Environment Visualization} 본 발명은 다자 사용자에 대한 비정형 모션 데이터 취득과 실시간 원격 환경정보 3차원 재구성 및 가상환경 가시화에 대한 로봇 시뮬레이터 시스템에 관한 것이다. 사람의 업무수행이 물리적, 화학적 환경요인으로 인하여 어려운 열악한 환경에서 원격 작업자가 해당 열악환경 현장에 대한 상황인지 능력을 증강시키고, 원격 작업자의 머리와 상체의 동작, 손가락 제스처, 로봇의 주행제어 페달 조작을 통하여 열악환경의 기계, 로봇을 정밀 제어하는 텔레 오퍼레이션 기술이 요구된다. 텔레오퍼레이션 기술은 원격 작업자의 상황인지 능력 증강을 위하여 실시간 3차원 재구성 기술과 딥러닝 기반의 작업 대상물 인식 및 추적 기술이 필요하며 원격 작업자에게 열악환경 현장의 정보를 증강 현실기술을 통하여 제공한다. 텔레오퍼레이션 기술은 원격 작업자의 비정형 상체 움직임 정보를 바탕으로 작업 현장의 로봇이 정밀한 비정형 작업을 수행할 수 있도록 모션 캡쳐, 작업자의 머리/체간/손/팔동작을 정밀 해석, 추적하여 원격 로봇이 모방하도록 하는 기술이다. 열악환경에서 다양한 작업을 수행해야 하는 로봇을 완전 자동화 하기까지 현재 로보틱스기술로는 한계가 있으므로, 원격조작기술이 필요하며, 이를 위하여 원격 작업자가 열악환경 현장에 몰입할 수 있도록'현장감을 주는' EUI(Environment User Interface)기술과 작업자 의도대로 현장의 로봇이'잘 움직일 수 있는'로봇 제어 기술 개발이 요구된다. 도 1은 다자 사용자에 대한 비정형 모션 데이터 취득과 실시간 원격 환경정보 3차원 재구성 및 가상환경 가시화에 대한 로봇 시뮬레이터 시스템의 개요도이고, 도 2는 본 발명의 실시예에 따른 로봇 시뮬레이터 시스템의 구성을 개략적으로 나타낸 블럭도이고, 도 3내지 5는 본 발명의 실시예에 따른 원격 조작자 1명에 대한 텔레오퍼레이션 스테이션 1대의 구축결과를 나타낸 도면이고, 도 6은 시뮬레이터 화면을 나타낸 도면이고, 도 7은 원격 조작자의 움직임에 따라 움직이는 현장 로봇을 나타낸 도면이다. 본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것 으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러 나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본발명의 사 상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이 해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어 들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속 되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마 찬가지로 해석되어야 한다. 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사 용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하 게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또 는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징 들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가 진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사 전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하 는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상 적이거나 과도하게 형식적인 의미로 해석되지 않는다. 이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보 다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다. 도 1은 다자 사용자에 대한 비정형 모션 데이터 취득과 실시간 원격 환경정보 3차원 재구성 및 가상환경 가시화에 대한 로봇 시뮬레이터 시스템의 개요도이고, 도 2는 본 발명의 실시예에 따른 로봇 시뮬레이터 시스템의 구성을 개략적으로 나타낸 블럭도이고, 도 3내지 5는 본 발명의 실시예에 따른 원격 조작자 1명에 대한 텔레오퍼레이션 스테이션 1대의 구축결과를 나타낸 도면이고, 도 6은 시뮬레이터 화면을 나타낸 도면이고, 도 7은 원격 조작자의 움직임에 따라 움직이는 현장 로봇을 나타낸 도면이다. 도 1 및 2에 도시되는 바와 같이, 본 발명의 실시예에 따른 다자 사용자에 대한 비정형 모션 데이터 취득과 실시간 원격 환경정보 3차원 재구성 및 가상환경 가시화에 대한 로봇 시뮬레이터 시스템은 하나 이상의 텔레오퍼레이션 스테이션(100)과 하나 이상의 원격 작업장에 위치한 로봇플랫폼(200), 및 텔레오퍼레이션 스테이션(100)의 동작 지시를 로봇 시뮬레이터 중계서버(300)를 포함한다. 텔레오퍼레이션 스테이션(100)은 원격 작업자가 객체 인식과 3차원 증강현실 기술로 원거리의 작업상황을 판단하여 손가락이나 팔의 제스쳐로 열악 현장의 로봇플랫폼(200)으로 하여금 정밀하게 조작자의 동작을 모방하도록 하고 페달을 활용하여 열악 현장의 로봇플랫폼(200)의 전후좌우 움직임을 제어가능하도록 함으로써 원격 작업자와 현장 로봇 간 통신기반 원격 협업을 지원한다. 텔레오퍼레이션 스테이션(100)과 로봇플랫폼(200)은 로봇시뮬레이터 중계서버(300)와 네트워크를 사용하여 통신 가능하게 커플링된다. 5G 기반으로 동기화되어 3D 증강 현실을 작업자에게 전달한다. 또한 5G 클라우드를 이용하여 고용량의 데이터 전송이 가능하다. 즉, 5G 통신으로 무선 원격제어 로봇의 절대 정밀도를 확보하고 고용량의 공간 및 객체 정보를 가시화한다. 텔레오퍼레이션 스테이션(100)과 로봇플랫폼(200)은 1~N 대까지 활용하여 다수의 원격 사용자가 열악 환경 현장에서 원격 사용자의 수만큼 해당하는 로봇을 제어하고 비대면 업무를 원격지에서 동시에 실시간으로 접속하여 업무를 수행할 수 있도록 한다. 또한, 본 발명의 실시예에 따르면, 로봇 시뮬레이터 중계서버(300)를 포함하여 로봇 플랫폼의 움직임을 애니메이션화하여 3차원 가상 공간에서 구현하여 조작자에게 전달하므로써 조작자가 실물 장치를 통하여 실제 현장 작업을 추진하기 전에 가상 환경에서 현장 로봇 작업 시뮬레이션을 가능하게 한다. 텔레오퍼레이션 스테이션(100)은 사용자 인터페이스, 입력 디바이스, 프로세서, 및 통신모듈을 포함한다. 사용자 인터페이스는 로봇시뮬레이터로부터 수신된 센서 데이터의 표현을 생성하기 위한 출력 디바이스를 포함한다. 사용자 인터페이스는 센서 데이터의 표현을 생성하기 위해 다양한 햅틱 출력 디바이스들을 포함할 수 있다. 또한, 사용자 인터페이스는 HMD(Head Mounted Disply)를 포함한다. 텔레오퍼레이션 스테이션(100)은 원격으로 열악환경 현장의 로봇에 대한 손과 팔 동작 조작을 위한 관성측정장치(110,IMU;Inertial Measurment Unit), 현장 로봇의 위치 이동을 조작하기 위한 페달 장치(120) 및 로봇 플랫폼(200)시선방향 배경을 디스플레이 하는 HMD(Head Mounted Display)를 포함한다. 도 3 내지 5에 도시되는 바와 같이, IMU(110)는 글러브 부착형과 상지의 체간, 상완, 및/또는 전완 부착형을 포함할 수 있다. HMD(130)에는 회전 감지 센서가 포함될 수 있다. 페달장치(120)는 베이스 플레이트 상에 전진 후진 및 속도 제어 신호를 입력할 수 있는 페달과 페달 후방의 베이스 플레이트 상에 배치되는 작업자가 착석할 수 있는 의자를 포함할 수 있다. 페달장치(120)는 작업자가 로봇의 공간 이동을 명령하기 위하여 작업 동안 직접 서서 이동하지 않고도 공간 이동 조작을 할 수 있도록 한다. 입력디바이스와 사용자 인터페이스는 이에 한정되지 않고 다기종 장비가 연동될 수 있다. 프로세서는 사용자 인터페이스, 입력디바이스, 통신모듈과 연결되어 입출력 신호를 처리한다. 로봇플랫폼(200)은 센서부(210)와 동작부(220)를 포함한다. 센서부(210)는 로봇의 센서리 데이터 획득을 위해 양안 스테레오스코픽 비전 센서, 쌍이 스테레오포닉 오디오 센서, 힘 반영 햅틱 조작 센서, 및 촉각 센서로 구성된 그룹으로부터 선택되는