KR-20260061516-A - An artificial intelligence that understands sign languages of deafblind and gives needed information

KR20260061516AKR 20260061516 AKR20260061516 AKR 20260061516AKR-20260061516-A

Abstract

본 발명은 인공지능 기반 이미지 인식 모듈과 인공지능 텍스트 생성 기술을 활용한 수어 인식 정보 단말기 솔루션에 관한 것으로, 상세하게는 교육률이 대한민국 기준 9.6%로 낮은 점자, 공공장소에서 사용하기에는 사회적 인식이 좋지 않은 큰 목소리의 의성어 이외의 부담 없고 교육률이 높은 수화를 통해 원하는 정보를 요청해 시청각 장애인들의 낮은 정보 접근성 문제를 해결한다. 또한, 텍스트-수화 번역을 통해 정보를 정확하게, 시청각장애인들이 잘 알고 있는 언어로 입출력한다. 발명품의 소프트웨어 방면에는 빅데이터 기반 인공지능 수화 이미지 인식 모듈; 이미지 인식 결과를 문장형으로 바꾸는 텍스트 모듈; 번역된 텍스트를 프롬프트로 활용하는 LLM 번역 엔진 기반 인공지능 모듈; 생산된 텍스트를 다시 수화로 바꾸는 인공지능 모듈을 포함한다. 발명품의 하드웨어 방면에는 사용자의 상체를 포착하는 카메라; 수화를 사용자에게 전달하기 위한 로봇의 힘줄 구동 메카니즘; 위험 방지용 통합 센서를 포함한다.

Inventors

박선후

Assignees

박선후

Dates

Publication Date: 20260506
Application Date: 20241027

Claims (2)

수화를 번역하는 인공지능 정보 단말기로서, 지화와 수화를 나눠 점과 선을 활용한 빅데이터 기반 인공지능 수어 이미지 인식 모듈; 수어 이미지 인식 결과를 문장형으로 바꾸는 텍스트 모듈을 가지고 있는 입출력 가능 손 형태의 정보 단말기.
청구항 1에 있어서, 선의 각 엄지와 검지 사이 부분과 각 펼쳐져있는 손가락을 표시하는 점;짧은 구절 식별표; 가슴 한 가운데의 핵심 점 및 손의 정 가운데를 표시하는 점; 각 점을 잇는 선을 모듈에 포함하는 손 형태의 정보 단말기.

Description

시청각장애인의 수어를 인식하여 필요한 정보를 전달하는 대화형 인공지능{An artificial intelligence that understands sign languages of deafblind and gives needed information} 본 발명은 인공지능 이미지 분석 기술과 자동 텍스트 생성 기술을 활용한 시청각 장애인 대상 인공지능 비서 솔루션에 관한 것으로, 상세하게는 수어를 이미지 분석 기술을 통해 일반 텍스트로 변형한 후 이를 프롬프트로 사용해 낮은 정보 접근성을 가져 일상생활에 어려움을 겪고 있는 시청각장애인들의 문제를 해결하고자 고안된 장치이다. 전 세계적으로, 시청각장애인들은 타인과의 의사소통이 어려워 필요한 정보를 쉽게 얻지 못해, 외출 빈도 및 일상생활 급여 수급률이 낮은 등의 사회적 문제를 겪고 있다. 따라서, 이를 해결하기 위해 정보를 실시간으로 점자로 번역하는 시계 닷 워치가 출시되었다. 닷 워치는 스마트워치 형태로 입력된 글을 점자로 변형하는 기능을 가진다. 하지만, 점자 실시간 번역 스마트워치 ‘닷 워치’ 는 그 가격이 굉장히 비쌀 뿐만 아니라, 대상으로 하는 시청각장애인의 점자 교육률이 낮아 상용화에 어려움이 있다. 보건복지부의 통계 자료에 따르면 시청각장애인 중 90.4%는 점자를 교육받지 않아 사용할 수 없다. 또한, 일상생활 지원 급여 수급률도 낮은 현실이다. 이 때 닷 워치의 가격은 299달러 이상으로, 시청각장애인 입장에서 금전적으로 부담되는 가격이다. 그리고, 일방적 점자 번역 서비스이기에 서로 상호작용하는 의사소통이 이루어지기 힘들어, 기존의 의사소통 문제를 완벽히 해결하는데에 있어 어려움이 있다. 도 1은 인공지능 이미지 인식 모듈 구현 트레이닝 및 식별 방식의 예시이다. 도 2는 인공지능 이미지 인식 모듈 및 텍스트-수화 번역 시스템을 탑재한 공공장소에서 이용 가능한 정보 제공 단말기의 하드웨어이다. 도 1은 인공지능 이미지 모듈 구현 시 모델 트레이닝 및 식별 방식의 예시이다. 수어 중 손가락을 사용해 모음, 자음을 표현하는 지화 식별 모델 (10), 모음 혹은 자음 식별표 (11), 점을 이어 형태를 구축하는 선 (12), 선의 각 엄지와 검지 사이 부분과 각 펼쳐져있는 손가락을 표시하는 점(13), 상체를 사용하는 수화 식별 모델 (20), 짧은 구절 식별표 (21), 가슴 한 가운데의 핵심 점 및 손의 정 가운데를 표시하는 점 (22), 각 점을 잇는 선 (23)으로 구성된다. 도 2는 인공지능 이미지 인식 모듈 및 텍스트-수화 번역 시스템을 탑재한 공공장소에서 이용 가능한 정보 제공 단말기의 하드웨어이다. 수어 인식 이미지 모듈에 이미지 데이터를 전송하기 위하여 상체를 포착하는 카메라 (10), 역변역 이후 수화 전달을 위한 손가락 모델 (20), 힘줄 조정 장치 (21), 위험 감지를 위한 압력 센서 (30), 구성 장치 조합 용 원기둥 (40) 으로 구성된다.