KR-20260061358-A - AR Information Mapping System for Smart Glasses featuring Real-time Object Registration and Sensor Fusion-based Visual Correction

KR20260061358AKR 20260061358 AKR20260061358 AKR 20260061358AKR-20260061358-A

Abstract

본 발명은 스마트 글래스(100)를 착용한 사용자의 시야 내 대상 물체(200)에 증강현실 가이드 정보(500)를 정밀하게 고정 표시하는 AR 정보 매핑 시스템(100)에 관한 것이다. 이미지 센서(110)가 촬영한 RGB-D 데이터로부터 객체 인식부(120)가 대상 물체(200)의 3차원 공간 좌표(300) 및 6DoF 포즈를 추출하면, 좌표 매핑 엔진(130)은 사용자의 동공간 거리(IPD)에 따른 동적 시차 보정(Äx = IPD ? f / d) 및 시선 벡터 통합을 통해 디스플레이 좌표계(400)로의 1:1 정합을 수행한다. 관성 측정 센서(150)와 물체 이동 속도 벡터(V_obj)를 결합한 이중 예측 합성 함수(P_render = á · P_gaze_pred + (1-á) · P_obj_pred)가 MTP 레이턴시를 억제하고, 깊이 기반 연속 투명도 함수(ô = max(0, 1 - Äd / d_threshold))가 가림 현상을 자연스럽게 처리한다. 조작 완료 감지부(125)는 하위 부품(210)의 형상 변화를 자동 감지하여 Step-by-step 매뉴얼을 자율 진행하며, 자가진단부(180)는 정합 오차(?)를 실시간 모니터링하여 좌표 드리프트를 자율 보상한다.

Inventors

안범주

Assignees

안범주

Dates

Publication Date: 20260506
Application Date: 20260402

Claims (1)

사용자의 시야 내에 위치한 대상 물체와 관련된 증강현실(AR) 정보를 제공하는 스마트 글래스 시스템에 있어서, 사용자의 전방 시야를 촬영하여 이미지 데이터를 획득하는 이미지 센서; 상기 이미지 데이터로부터 대상 물체를 식별하고, 상기 대상 물체의 3차원 공간 좌표(W_world) 및 6자유도(6DoF) 포즈(Pose) 정보를 실시간으로 추출하는 객체 인식부; 상기 대상 물체의 3차원 공간 좌표를 스마트 글래스의 디스플레이 좌표계(D_disp)로 변환하기 위해, 사용자의 시선 방향 및 두 눈의 간격(IPD)에 따른 시차를 계산하여 좌표계를 1:1로 대응시키는 좌표 매핑 엔진; 및 상기 좌표 매핑 엔진에 의해 결정된 상기 디스플레이 좌표계 상의 특정 지점에, 상기 대상 물체에 대응하는 가이드 정보 또는 속성 정보를 중첩(Overlay)하여 출력하는 디스플레이부를 포함하며, 상기 가이드 정보는 상기 대상 물체의 실제 위치 변화 또는 사용자의 움직임에 따라 상기 디스플레이 좌표계 상에서 실시간으로 갱신되어, 현실의 대상 물체와 가상의 정보가 물리적으로 고정(Anchoring)된 것처럼 표시되는 것을 특징으로 하는 AR 정보 매핑 시스템.

Description

실시간 객체 정합 및 센서 융합 기반의 시각 보정 기능을 갖춘 스마트 글래스용 AR 정보 매핑 시스템{AR Information Mapping System for Smart Glasses featuring Real-time Object Registration and Sensor Fusion-based Visual Correction} 본 발명은 증강현실(Augmented Reality, AR) 기술에 관한 것으로, 보다 구체적으로는 스마트 글래스(100)를 착용한 사용자의 시야 내에 존재하는 실제 대상 물체(200)의 3차원 공간 좌표(300)를 실시간으로 추출하고, 해당 좌표를 디스플레이 좌표계(400)에 1:1로 정합(Registration)하여 가이드 정보(500) 또는 속성 정보(500)를 물리적으로 고정(Anchoring)된 것처럼 표시하는 AR 정보 매핑 시스템(100)에 관한 것이다. 특히 본 발명은 사용자의 동공간 거리(IPD)에 따른 시차 보정, 관성 측정 센서(IMU, 150)와 물체 이동 벡터를 결합한 이중 예측 렌더링, 깊이(Depth) 기반 가림 현상(Occlusion) 처리, 조작 완료 자동 감지 기반의 단계별 매뉴얼 제공, 및 정합 오차의 자가진단?자율 재교정 기능을 포함하는 통합 AR 시스템에 관한 것이다. 증강현실(AR) 기술은 실세계 환경에 컴퓨터가 생성한 가상의 정보를 중첩하여 표시함으로써 사용자에게 향상된 현실 인식을 제공하는 기술이다. 최근 스마트 글래스 형태의 웨어러블 디바이스가 보급됨에 따라 제조 현장의 작업 가이드, 물류 창고의 피킹(Picking) 지원, 의료 수술 가이드, 군사 훈련 등 다양한 산업 분야에서 AR 기술의 활용이 급격히 증가하고 있다. 그러나 종래의 AR 시스템은 다음과 같은 근본적인 문제를 내포하고 있었다. 첫째, 가상 정보와 실물 객체 사이의 좌표 정합 정밀도 문제이다. 종래 기술은 이미지 평면(Image Plane)에서의 2차원 매핑에 그치거나, 3차원 공간 좌표를 추출하더라도 이를 디스플레이 좌표계로 변환하는 과정에서 사용자별로 상이한 동공간 거리(IPD)와 시선 방향을 반영하지 못하였다. 그 결과 가상 정보가 실제 물체와 분리되어 공간 내 어딘가에 떠 있는 것처럼 보이는 이질감(Dissonance)이 발생하였고, 이는 작업자의 주의를 분산시키고 오작업을 유발하는 원인이 되었다. 둘째, 화면 밀림 현상(Motion-to-Photon Latency, MTP Latency)의 문제이다. 사용자가 머리를 회전하거나 이동하는 경우, 이미지 센서(110)로부터 포즈 정보가 획득되고 렌더링이 완료되어 디스플레이부(140)에 출력되기까지의 처리 지연이 필연적으로 발생한다. 이지연 시간 동안 가상 정보는 갱신되지 않은 상태로 표시되기 때문에, 실제 물체의 위치와 가상 정보 사이에 일시적인 불일치가 발생하여 사용자에게 어지럼증과 불편함을 초래하였다. 종래 기술의 일부는 IMU 센서를 활용한 단순 헤드 포즈 예측을 시도하였으나, 대상 물체(200) 자체의 이동 속도를 함께 고려하지 않아 동적 환경에서의 예측 정밀도가 낮은 문제가 있었다. 셋째, 폭주-조절 불일치(Vergence-Accommodation Conflict, VAC) 문제이다. 스마트 글래스의 디스플레이는 고정된 초점 거리에서 상을 맺지만, 사용자의 눈은 실제 물체와의 거리에 따라 폭주각(Vergence Angle)을 조절한다. 이 불일치는 장시간 착용 시 눈의 피로, 두통 및 메스꺼움을 유발하며, 특히 물체와의 거리가 빈번하게 변하는 작업 환경에서 더욱 심각하게 나타났다. 넷째, 장애물에 의한 가림 현상(Occlusion) 처리의 미흡함이다. 실제 작업 환경에서는 다른 물체, 작업자의 손, 또는 도구 등이 대상 물체(200)의 일부 또는 전부를 가리는 경우가 빈번하다. 종래 기술은 이러한 경우에도 가상 정보를 장애물의 앞쪽에 동일한 방식으로 표시함으로써, 마치 가이드 정보(500)가 장애물을 관통하여 표시되는 것과 같은 비현실적인 화면을 출력하거나, 가림이 감지되면 단순히 가이드 정보를 소거하여 작업 연속성을 방해하는 문제가 있었다. 다섯째, 단계별 작업 가이드의 수동 전환 문제이다. 종래의 AR 매뉴얼 시스템은 사용자가 버튼 입력이나 음성 명령과 같은 명시적 인터랙션을 통해 다음 단계로 전환하는 방식을 채택하였다. 이는 작업자가 물리적 작업과 AR 인터페이스 조작을 병행해야 하는 부담을 초래하며, 특히 두 손을 사용하는 정밀 조립 작업에서 심각한 작업 방해 요소가 되었다. 여섯째, 장시간 사용에 따른 좌표 드리프트(Coordinate Drift) 문제이다. 온도 변화, 진동, 충격 등 다양한 환경 요인은 좌표 매핑 엔진(130)의 변환 행렬을 서서히 왜곡시킨다. 종래 시스템은 이러한 드리프트를 능동적으로 감지하고 자율 보정하는 메커니즘을 구비하지 못하여, 장시간 작업 후에는 가상 정보와 실물 객체 사이의 정합 오차가 점차 누적되는 문제가 있었다. 따라서, 실제 물체의 물리적 좌표와 디스플레이 좌표를 1:1로 정밀하게 대응시키고, 사용자의 움직임과 대상 물체의 동적 변화를 동시에 예측하여 렌더링 위치를 선제적으로 보정하며, 가림 현상을 깊이 정보에 기반하여 자연스럽게 처리하고, 조작 완료를 자동 감지하여 단계별 가이드를 능동적으로 제공하며, 정합 오차를 지속적으로 자가진단하여 자율 재교정하는 통합적인 AR 정보 매핑 시스템에 대한 필요성이 절실히 요구되고 있다. 도 1은 본 발명의 일 실시예에 따른 스마트 글래스(100) 기반 AR 정보 매핑 시스템(100)의 전체 하드웨어 및 소프트웨어 구성 블록도이다. 도 2는 월드 좌표계(W_world, 300)에서 디스플레이 좌표계(D_disp, 400)로의 1:1 매핑 과정 및 IPD 기반 시차 보정 원리를 나타낸 개념도이다. 도 3은 관성 측정 센서(150) 및 대상 물체(200)의 이동 속도 벡터(V_obj)를 활용한 이중 예측 합성 알고리즘(이중 예측 합성 모듈, 134)의 동작 흐름도이다. 도 4는 깊이 분석 모듈(124)을 통한 가림 현상(Occlusion) 처리 및 X선 투시형 오버레이 모드의 동작 예시도이다. 도 5는 조작 완료 감지부(125)를 이용한 하위 부품(210) 단위의 정밀 매핑 및 자동 단계 전환 기능을 구비한 Step-by-step 매뉴얼 모드의 화면 구성 예시도이다. 도 6은 협업 서버(190)를 통한 복수의 스마트 글래스(100) 사용자 간의 AR 가이드 동기화 시스템 구성도이다. 도 7은 자가진단부(180)의 정합 오차(?) 산출 및 자동 재교정 모듈(182)의 동작 프로세스 흐름도이다. 이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 상기 과제를 해결하기 위하여 본 발명은 이미지 센서(110), 객체 인식부(120), 좌표 매핑 엔진(130) 및 디스플레이부(140)를 포함하는 스마트 글래스(100) 기반의 AR 정보 매핑 시스템을 제공한다. 상기 좌표 매핑 엔진(130)은 사용자의 동공간 거리(IPD)를 기준으로 좌안 디스플레이 좌표계(D_L, 410)와 우안 디스플레이 좌표계(D_R, 420)를 각각 독립적으로 산출하며, 대상 물체(200)까지의 실시간 거리(d)에 따라 수평 시차(Äx = IPD ? f / d)를 동적으로 조절한다. 또한 관성 측정 센서(150)로부터 획득된 시선 위치 예측값(P_gaze_pred)과 대상 물체(200)의 이동 속도 벡터(V_obj)로부터 산출된 미래 위치 예측값(P_obj_pred)을 이중 예측 합성 함수(P_render = á · P_gaze_pred + (1-á) · P_obj_pred)에 의해 합성하여 렌더링 위치를 결정한다. 객체 인식부(120)는 깊이 분석 모듈(124)을 통해 장애물(600)의 깊이값(d_occ)과 대상 물체(200)의 깊이값(d_obj) 차이(Äd)를 실시간으로 산출하고, 투명도 함수(ô = max(0, 1 - Äd / d_threshold))에 따라 가이드 정보(500)의 투명도를 연속적으로 조절한다. 조작 완료 감지부(125)는 이미지 센서(110)로부터 획득된 영상에서 하위 부품(210)의 형상 변화 또는 사용자 손의 위치를 실시간으로 추적하여, 명시적 입력 없이도 다음 단계의 가이드 정보(500)로 자동 전환하는 Step-by-step 매뉴얼 모드를 제공한다. 자가진단부(180)는 정합 오차 산출 모듈(181)과 자동 재교정 모듈(182)을 포함하며, 정합 오차(?)가 허용 임계값(?_threshold)을 초과하는 경우 좌표 매핑 엔진(130)의 변환 행렬을 자율적으로 재산출하여 좌표 드리프트(Coordinate Drift)를 보상한다. 1. 전체 시스템 구성 (도 1 참조) 본 발명에 따른 AR 정보 매핑 시스템(100)은 스마트 글래스 형태의 웨어러블 디바이스로 구현되며, 이미지 센서(110), 객체 인식부(120), 좌표 매핑 엔진(130), 디스플레이부(140), 관성 측정 센서(IMU, 150), 시선 추적 센서(160), 조도 센서(170), 자가진단부(180) 및 협업 서버(190)를 포함하여 구성된다. 1.1 이미지 센서(110) 이미지 센서(110)는 스마트 글래스(100)의 전면 프레임 중앙부 또는 좌우 대칭 위치에 장착되며, 사용자의 전방 시야(Field of View, FoV)를 실시간으로 촬영하여 이미지 데이터를 획득하는 구성 요소이다. 이미지 센서(110)는 RGB 컬러 카메라와 깊이 측정을 위한 적외선(IR) 투영 모듈 및 적외선 수광 어레이를 포함하는 RGB-D 복합 센서로 구현될 수 있으며, 30fps 이상, 바람직하게는 60fps 이상의 프레임 레이트로 연속 촬영을 수행한다. 이미지 센서(110)가 획득하는 이미지 데이터는 각 픽셀의 색상 정보(R, G, B)와 해당 픽셀이 나타내는 공간 지점까지의 깊이 정보(D)를 포함하는 RGB-D 데이터 스트림이며, 이는 객체 인식부(120)의 입력 데이터로 제공된다. 이미지 센서(110)는 광각 렌즈(Wide-Angle Lens)를 구