KR-20260061130-A - Direct Communication-Based Human-Robot Collaborative Augmented Reality Control System and Method Comprising Vision Sensor Unit and Dual NPU

Abstract

본 발명은 로봇(100)에 탑재된 제1 NPU(130)가 비전 센서부(120)의 포인트 클라우드(P_real)와 CAD 메시(M_CAD)를 ICP/NDT 정합하여 법선 방향 편차(δ_n) 및 접선 방향 편차(δ_t)를 산출하고, 제1 임계값(Th1) 및 제2 임계값(Th2)에 기반한 3단계 분기로 처리 모드를 결정하며, 협업 모드에서 자연어 질의 정보를 포함하는 분석 결과 패킷을 공장 인프라 네트워크를 경유하지 않는 전용 무선 채널(300)을 통해 AR 안경(200)에 탑재된 제2 NPU(240)로 직접 전송하는 이중 NPU 기반 인간-로봇 협업형 AR 제어 시스템 및 방법을 제공한다. 제2 NPU(240)의 맥락 구조화 모듈(244)이 수신된 패킷에서 맥락 구조체를 생성하고, 맥락 대조 모듈(246)이 사용자의 음성·제스처 명령어를 맥락 구조체와 대조하여 경로 수정 벡터를 추출하며, 해결책 생성 모듈(247)이 해결책을 생성하고 신뢰도 평가 모듈(248)이 신뢰도 점수(CS)에 기반하여 전송 여부를 결정한다. AR 안경(200)의 디스플레이(210)에는 히트맵 객체(OV1), 화살표 객체(OV2) 및 해결책 표시 객체(OV3)가 중첩 표시된다. 제1 NPU(130)는 수신된 해결책으로 재구성 경로를 생성·검증·적용하며, 온보드 비휘발성 저장소(132)의 오차 이력을 통해 예방적 보정을 수행한다.

Inventors

• 안범주

Assignees

• 안범주

Dates

Publication Date

20260506

Application Date

20260415

Claims (1)

1. 로봇 및 증강현실(AR) 기기를 이용한 작업 제어 시스템에 있어서, 작업 대상물의 형상을 스캔하여 실제 좌표 데이터를 생성하는 비전 센서부, 및 상기 실제 좌표 데이터와 상기 작업 대상물의 설계 도면 데이터를 비교하여 오차를 검출하고, 검출된 오차의 특성을 분석하여 자연어 형태의 질의 정보를 생성하며, 생성된 질의 정보를 포함하는 분석 결과를 출력하는 제1 NPU를 구비한 로봇; 및 상기 로봇의 제1 NPU로부터 상기 분석 결과를 직접 수신하고, 수신된 분석 결과에 기초하여 상기 작업 대상물의 오차 발생 부위를 가상 객체로 시각화하여 표시하며, 상기 질의 정보를 음성으로 출력하고, 사용자로부터 상기 분석 결과와 관련된 명령어를 입력받으면 제2 NPU가 상기 명령어를 분석 결과와 연계하여 해결책을 생성하고 생성된 해결책을 표시하는 AR 안경을 포함하는 것을 특징으로 하는 인간-로봇 협업형 이중 NPU 기반 AR 제어 시스템.

Description

비전 센서부와 이중 NPU를 구비한 로봇 및 AR 안경 간의 직접 통신 기반 인간-로봇 협업형 증강현실 제어 시스템 및 방법{Direct Communication-Based Human-Robot Collaborative Augmented Reality Control System and Method Comprising Vision Sensor Unit and Dual NPU} 본 발명은 로봇 제어 및 인간-로봇 협업(Human-Robot Collaboration, HRC) 기술에 관한 것으로, 더욱 구체적으로는 로봇(100)에 탑재된 제1 NPU(130)가 비전 센서부(120)로부터 취득한 작업 대상물(W)의 3차원 형상 데이터와 설계 도면 데이터(CAD)를 온보드에서 비교·분석하여 오차를 검출하고 자연어 형태의 질의 정보를 생성하며, 생성된 분석 결과를 중간 서버를 경유하지 않는 전용 무선 채널(300)을 통해 AR 안경(200)에 탑재된 제2 NPU(240)로 직접 전송하고, 제2 NPU(240)가 사용자의 명령어를 분석 결과의 오차 맥락 정보와 연계하여 해결책을 생성·표시하며 이를 제1 NPU(130)로 반환하여 로봇의 작업 경로를 실시간으로재구성하는, 이중 NPU 기반 인간-로봇 협업형 증강현실 제어 시스템 및 그 동작 방법에 관한 것이다. 산업용 로봇이 제조 현장에 광범위하게 도입됨에 따라, 작업 대상물(W)의 실제 형상이 설계 도면 데이터(CAD)로부터 벗어나는 기하학적 오차를 실시간으로 감지하고 로봇의 작업 경로를 적응적으로 수정하는 기술에 대한 수요가 급격히 증가하고 있다. 소재 공급 편차, 클램핑 오류, 가공 이력에 의한 잔류 응력 및 열 팽창 등 복합적인 요인으로 인해 작업 대상물(W)의 형상 편차는 불가피하게발생하며, 이러한 편차가 공정 허용 공차를 초과함에도 로봇이 기 설정된 작업 경로를 그대로 추종하는 경우 가공 불량, 공구 파손 또는 구조적 결함이 초래된다. 종래의 로봇 비전 검사 시스템은 로봇 암에 탑재된 3차원 레이저 센서 또는 구조광 센서가 작업 대상물(W)의 표면을 스캔하고, 그 결과를 외부 서버 또는 산업용 PC에 전송하여 CAD 참조 모델과의 비교 연산을 수행하는 구조를 채택한다. 이 구조에서는스캔 데이터의 외부 전송에 따른 통신 지연이 실시간 경로 수정의 병목으로 작용하며, 서버와의 통신이 단절된 환경에서는 시스템 전체의 동작이 정지된다. 또한 오차 검출 결과는 제어 패널의 수치 경보 또는 시각적 표시로만 출력되므로, 작업자는 별도의 조작 인터페이스로 이동하여 오차 내용을 확인하고 수작업으로 경로를 수정해야 하는 절차적 단절이 발생한다. 증강현실(AR) 기기를 인간-로봇 협업에 적용하는 기술도 활발히 연구되고 있다. 기존의 AR 기반HRC 시스템은 AR 헤드셋에 로봇의 이동 궤적을 오버레이 영상으로 표시하거나, 작업 지시 정보를 작업 대상물 위에 시각화하는 기능을 제공한다. 그러나 이러한 시스템에서 AR 기기는 중앙 서버 또는 외부 컴퓨팅 자원이 생성한 정보를 단순히 표시하는 출력 장치에 머무르며, AR 기기 자체에 탑재된 신경처리장치(NPU)가 오차 맥락 정보와 사용자 명령어를 연계하여 독립적으로 해결책을 생성하는 구성은 알려진 바 없다. 나아가, 로봇 탑재 NPU와 AR 안경 탑재 NPU가 중간 서버 없이 직접 무선 채널로 연결되어 분석 결과와 해결책을 상호 교환하는 이중 NPU 협업 구조 역시 종래 기술에서 제시된 바 없다. 최근 산업용 로봇에 엣지 AI 가속기 또는 NPU를 탑재하여 온보드에서 인공지능 추론을 수행하는 기술이 상용화되고 있으며, AR 안경 분야에서도 NPU가 집적된 SoC를 탑재하여 객체 인식, SLAM, 음성 인식 등의 지각 연산을 온디바이스에서 처리하는 제품이 출시되고 있다. 그러나 이 두 개의 이기종 NPU를 서버리스 P2P 직접 채널로 연결하고, 로봇 탑재 제1 NPU가 오차 검출 및 자연어 질의 생성까지 수행하며, AR 안경 탑재 제2 NPU가 수신된 오차 맥락과 사용자 명령어를 연계하여 산업 작업 경로 수정 해결책을 독립적으로 생성하는 통합 아키텍처는 어떠한 선행기술에도 개시된 바 없다. 도 1은 본 발명의 일 실시예에 따른 이중 NPU 기반 인간-로봇 협업형 AR 제어 시스템의 전체 하드웨어 구성 블록도 및 데이터 흐름도이다. 도 2은 본 발명의 일 실시예에 따른 제1 NPU(130)의 내부 처리 파이프라인 구성도로서, 포인트 클라우드 생성 모듈(133)로부터 패킷 직렬화 모듈(140)까지의 연산 모듈 및 신호 흐름을 도시한다. 도 3은 본 발명의 일 실시예에 따른 CAD 메시(M_CAD)와 포인트 클라우드(P_real)의 정합 과정 및 법선 방향 편차(δ_n)와 접선 방향 편차(δ_t) 산출 결과를 나타내는 도면이다. 도 4은 본 발명의 일 실시예에 따른 제1 NPU(130)의 등급 판정 모듈(137)이 오차 크기(δ)를 제1 임계값(Th1) 및 제2 임계값(Th2)과 비교하여 자율 보정 모드, 협업 모드 및 긴급 정지 모드로 분기하는 흐름도이다. 도 5은 본 발명의 일 실시예에 따른 제1 NPU(130)와 제2 NPU(240) 간의 전용 무선 채널(300) 구조, 암호화 레이어, 오프라인 자립 동작 모드 및 데이터 자동 삭제 흐름을 나타내는 도면이다. 도 6은 본 발명의 일 실시예에 따른 제2 NPU(240)의 해결책 생성 파이프라인 구성도로서, 맥락 구조화 모듈(244)로부터 신뢰도 평가 모듈(248)까지의 연산 모듈 및 해결책 4유형 분기를 도시한다. 도 7은 본 발명의 일 실시예에 따른 AR 안경(200)의 디스플레이(210)에 표시되는 작업자 시점 화면 구성으로서, 히트맵 객체(OV1), 3차원 화살표 객체(OV2) 및 해결책 표시 객체(OV3)를 도시한다. 도 8은 본 발명의 일 실시예에 따른 제1 NPU(130)와 제2 NPU(240) 간의 동적 오프로드 및 분산 추론 구조를 나타내는 도면이다. 도 9은 본 발명의 일 실시예에 따른 제1 NPU(130)의 경로 재구성·충돌 검증 흐름 및 이력 기록 모듈(148)·반복 패턴 탐지 모듈(149)·예방적 보정 모듈(150)의 연계 루프를 나타내는 도면이다. 도 10은 본 발명의 일 실시예에 따른 이중 NPU 기반 인간-로봇 협업형 AR 제어 방법의 전체 동작 흐름도이다. 이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 실시예는 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위하여 제공되는 것이며, 이하에 기술되는 실시예는 다양한 다른 형태로 변형될 수 있고 본 발명의 범위가 이하의 실시예에 의하여 한정되는 것은 아니다. 1. 전체 시스템 구성 (도 1 참조) 도 1을 참조하면, 본 발명의 일 실시예에 따른 인간-로봇 협업형 이중 NPU 기반 AR 제어 시스템은 로봇 본체(100) 및 AR 안경(200)의 두 주요 물리적 장치와, 양 장치를 직접 연결하는 전용 무선 채널(300)로 구성된다. 로봇 본체(100)는 로봇 암(110), 비전 센서부(120) 및 제1 NPU(130)를 내장하며, AR 안경(200)은 디스플레이(210), 마이크 어레이(220), 제스처 인식 센서(230), 제2 NPU(240) 및 AR 렌더링 엔진(250)을 구비한다. 전용 무선 채널(300)은 공장 인프라 네트워크 또는 외부 클라우드 서버를 경유하지 않는 암호화된 직접 무선 채널로서, Wi-Fi Direct, 5G 사이드링크(Sidelink) 및 UWB(Ultra-Wideband) 중 적어도 하나의 방식으로 구현된다. 데이터 흐름은 비전 센서부(120)에서 생성된 실제 좌표 데이터가 제1 NPU(130)로 입력되고, 제1 NPU(130)가 생성한 분석 결과 패킷이 전용 무선 채널(300)을 통해 제2 NPU(240)로 직접 전송되며, 제2 NPU(240)가 생성한 해결책 패킷이 전용 무선 채널(300)을 통해 제1 NPU(130)로 반환되어 로봇 암(110)의 서보 제어기에 적용되는 단방향 및 양방향 흐름으로 구성된다. 로봇 본체(100)는 6자유도 이상의 다관절 로봇 암(110)을 구비하며, 로봇 암(110)의 플랜지(flange)에는 비전 센서부(120)와 작업 공구가 탈착 가능하게 장착된다. 로봇 본체(100)는 자체 서보 제어기를 통해 로봇 암(110)의 관절 각도를 제어하며, 제1 NPU(130)로부터 수신된 재구성 경로의 경유점 집합에 기초하여 작업 경로를 추종한다. 제1 NPU(130)는 로봇 본체(100) 내부에 탑재된 신경처리장치(Neural Processing Unit)로서, 비전 데이터 처리, CAD 정합, 오차 분석, 자연어 질의 생성, 경로 재구성 및 충돌 검증에 이르는 전체 온보드 연산 파이프라인을 수행한다. 제1 NPU(130)에는 작업 대상물(W)별 설계 도면 데이터(CAD)를 저장하는 CAD DB(131), 오차 유형별 자연어 질의 템플릿을 저장하는 질의 템플릿 DB(131a), 및 오차 이력 레코드를 누적하는 온보드 비휘발성 저장소(132)가 연결된다. 2. 비전 센서부(120) (도 2 참조) 비전 센서부(120)는 로봇 암(110)의 선단에 탑재된 3차원 깊이 센서를 포함하며, 레이저 삼각측량 방식, 구조광(Structured Light) 방식 및 비행시간(ToF, Time-of-Flight) 방식 중 적어도 하나를 사용하여 작업 대상물(W)의 표면 형상을 고해상도로 스캔한다. 레이저 삼각측량 방식의 경우, 비전 센서부(120)는 작업 대상물(W)의 표면에 레이저 선(laser line)을 조사하고 반사 패턴을 카메라로 촬영하여 삼각측량 원리에 따라 각 조사 지점의 3차원 좌표(x, y, z)를 산출하며, 로봇 암(110)이 스캔 경로를 따라 이동하는 동안 연속적으로 단면 프로파일 데이터를 축적한다. 구조광 방식의 경우, 격자 또는 줄무늬 패턴을 작업 대상물(W)의 표면에 투영하고 패턴의 변형 정도를 분석하여 단일 촬영으로 넓은 영역의 3차원 좌표를 일괄 복원한다. ToF 방식의 경우, 적외선 광 펄스의 왕복 비행 시간을 픽셀 단위로 측정하여 깊이 영상을 실시간으로 취득한다. 포인트 클라우드 생성 모듈(133)은 스캔 결과로 취득된 원시 포인트 클라우드에 대하여