KR-20260060942-A - Facial facial expression recognition-based emotional learning system for autistic children

Abstract

본 발명은 자폐 아동을 위한 얼굴 표정 인식 기반 정서 학습 시스템에 관한 것으로, VGG16 모델 에 의하여 5가지 감정(기쁨, 슬픔, 분노, 불안, 당황)분류를 수행하도록 함으로써 생체 신호와 감정 데이터의 오차 발생 가능성으로 인해 감정 분석이 부정확할 수 있다는 문제점을 해소하도록 한 것이다. 즉, 본 발명은, 생체 신호를 수집해 감정을 실시간으로 인식하고 피드백을 제공하는 시스템에 있어서 5가지 감정(기쁨, 슬픔, 분노, 불안, 당황)분류를 수행하도록 웹 앱에서 실행 한 VGG16 모델 , 사용자 얼굴을 인식하고, 표정 데이터를 실시간으로 추출하도록 카메라 모듈과 연결됨한 OpenCV 모델 , 눈썹, 눈, 입을 조작하여 감정에 맞는 표정을 만들고 학습하도록 UI 화면에서 게임형 인터페이스로 구현 한 게임 인터페이스 , 사용자가 선택한 감정에서 사용자가 직접 카메라에 표정을 짓기위해 웹 앱에 내장 카메라와 연동 한 카메라 , 맞으면 “정답입니다!”라는 문구를 전송하고 효과음을 제공하도록 UI 결과 화면에 피드백 제공한 피드백 제공 을 포함하는 것을 특징으로 한다. 따라서, 본 발명은 VGG16 모델 에 의하여 5가지 감정(기쁨, 슬픔, 분노, 불안, 당황)분류를 수행하도록 하여, 생체 신호와 감정 데이터의 오차 발생 가능성으로 인해 감정 분석이 부정확할 수 있다는 문제점을 해소하도록 함으로써, 기존의 생체 신호와 감정 데이터의 오차 발생 가능성으로 인해 감정 분석이 부정확할 수 있다는 문제점을 해소하도록 한 효과를 갖는 것이다.

Inventors

• 김영우

Assignees

• 김영우

Dates

Publication Date

20260506

Application Date

20241025

Claims (6)

1. 자폐 아동을 위한 얼굴 표정 인식 기반 정서 학습 시스템에 있어서, 5가지 감정(기쁨, 슬픔, 분노, 불안, 당황)분류를 수행하도록 웹 앱에서 실행 한 VGG16 모델 (1), 사용자 얼굴을 인식하고, 표정 데이터를 실시간으로 추출하도록 카메라 모듈과 연결됨한 OpenCV 모델 (2), 눈썹, 눈, 입을 조작하여 감정에 맞는 표정을 만들고 학습하도록 UI 화면에서 게임형 인터페이스로 구현 한 게임 인터페이스 (45293), 사용자가 선택한 감정에서 사용자가 직접 카메라에 표정을 짓기위해 웹 앱에 내장 카메라와 연동 한 카메라 (45324), 맞으면 “정답입니다!”라는 문구를 전송하고 효과음을 제공하도록 UI 결과 화면에 피드백 제공한 피드백 제공 (3).
2. 제 1항에 있어서, VGG16 모델 (1)을 통하여 5가지 감정(기쁨, 슬픔, 분노, 불안, 당황)분류를 수행하도록 웹 앱에서 실행 함을 특징으로 하는 VGG16 모델 .
3. 제 1항에 있어서, OpenCV 모델 (2)을 통하여 사용자 얼굴을 인식하고, 표정 데이터를 실시간으로 추출하도록 카메라 모듈과 연결됨함을 특징으로 하는 OpenCV 모델 .
4. 제 1항에 있어서, 게임 인터페이스 (45293)를 통하여 눈썹, 눈, 입을 조작하여 감정에 맞는 표정을 만들고 학습하도록 UI 화면에서 게임형 인터페이스로 구현 함을 특징으로 하는 게임 인터페이스 .
5. 제 1항에 있어서, 카메라 (45324)를 통하여 사용자가 선택한 감정에서 사용자가 직접 카메라에 표정을 짓기위해 웹 앱에 내장 카메라와 연동 함을 특징으로 하는 카메라 .
6. 제 1항에 있어서, 피드백 제공 (3)을 통하여 맞으면 “정답입니다!”라는 문구를 전송하고 효과음을 제공하도록 UI 결과 화면에 피드백 제공함을 특징으로 하는 피드백 제공 .

Description

자폐 아동을 위한 얼굴 표정 인식 기반 정서 학습 시스템 {Facial facial expression recognition-based emotional learning system for autistic children} 본 발명은 자폐 아동을 위한 얼굴 표정 인식 기반 정서 학습 시스템에 관한 것으로, 보다 상세하게는, 5가지 감정(기쁨, 슬픔, 분노, 불안, 당황)분류를 수행하도록 웹 앱에서 실행 한 VGG16 모델 , 사용자 얼굴을 인식하고, 표정 데이터를 실시간으로 추출하도록 카메라 모듈과 연결됨한 OpenCV 모델 , 눈썹, 눈, 입을 조작하여 감정에 맞는 표정을 만들고 학습하도록 UI 화면에서 게임형 인터페이스로 구현 한 게임 인터페이스 , 사용자가 선택한 감정에서 사용자가 직접 카메라에 표정을 짓기위해 웹 앱에 내장 카메라와 연동 한 카메라 , 맞으면 “정답입니다!”라는 문구를 전송하고 효과음을 제공하도록 UI 결과 화면에 피드백 제공한 피드백 제공 으로 구성하여서, VGG16 모델 에 의하여 5가지 감정(기쁨, 슬픔, 분노, 불안, 당황)분류를 수행하도록 함으로써, 생체 신호와 감정 데이터의 오차 발생 가능성으로 인해 감정 분석이 부정확할 수 있다는 문제점을 해소하도록 함을 목적으로 한 것이다. 일반적으로, 생체 신호를 수집해 감정을 실시간으로 인식하고 피드백을 제공하는 시스템은 아동이 스트레스를 초기에 감지하고, 필요한 조치를 취함으로써 불안을 줄여 심리적 안정감을 제공하는 것이다. 상기한 바와 같이, 생체 신호를 수집해 감정을 실시간으로 인식하고 피드백을 제공하는 시스템은 생체신호 감지, 딥러닝 알고리즘을 적용해 감정을 분석, 감정상태 분류, 피드백 제공으로 구성된 것이다. 이상과 같은 생체 신호를 수집해 감정을 실시간으로 인식하고 피드백을 제공하는 시스템은 생체 신호 감지는 사용자에게 부착된 센서로부터 심박수, 호흡, 뇌파 등 생체 신호를 실시간으로 수집, 감정 분석은 딥러닝 모델을 사용해 수신된 신호를 분석하고, 감정을 추론, 감정상태 분류는 분석된 감정 데이터를 바탕으로 기쁨, 슬픔, 분노, 불안 등 감정 상태로 분류, 피드백 제공은 사용자에게 인식된 감정에 따라 적절한 메시지나 알리는 역할을 하는 것이다. 그러나, 상기한 바와 같은 종래의 생체 신호를 수집해 감정을 실시간으로 인식하고 피드백을 제공하는 시스템은 생체 신호와 감정 데이터의 오차 발생 가능성으로 인해 감정 분석이 부정확할 수 있다는 문제점이 있었다. 도 1은 OpenCV모델이다. 도 2는 VGG16모델 이다. 도 3은 게임형 학습 인터페이스 이다. 도 4는 카메라 이다. 도 5는 피드백 및 보상 시스템이다. 본 발명은 5가지 감정(기쁨, 슬픔, 분노, 불안, 당황)분류를 수행하도록 웹 앱에서 실행 한 VGG16 모델 (1), 사용자 얼굴을 인식하고, 표정 데이터를 실시간으로 추출하도록 카메라 모듈과 연결됨한 OpenCV 모델 (2), 눈썹, 눈, 입을 조작하여 감정에 맞는 표정을 만들고 학습하도록 UI 화면에서 게임형 인터페이스로 구현 한 게임 인터페이스 (45293), 사용자가 선택한 감정에서 사용자가 직접 카메라에 표정을 짓기위해 웹 앱에 내장 카메라와 연동 한 카메라 (45324), 맞으면 “정답입니다!”라는 문구를 전송하고 효과음을 제공하도록 UI 결과 화면에 피드백 제공한 피드백 제공 (3)으로 구성된 것이다. 여기서, VGG16 모델 (1)은 5가지 감정(기쁨, 슬픔, 분노, 불안, 당황)분류를 수행하도록 웹 앱에서 실행 한 것이다. 여기서, OpenCV 모델 (2)은 사용자 얼굴을 인식하고, 표정 데이터를 실시간으로 추출하도록 카메라 모듈과 연결됨한 것이다. 여기서, 게임 인터페이스 (45293)는 눈썹, 눈, 입을 조작하여 감정에 맞는 표정을 만들고 학습하도록 UI 화면에서 게임형 인터페이스로 구현 한 것이다. 여기서, 카메라 (45324)는 사용자가 선택한 감정에서 사용자가 직접 카메라에 표정을 짓기위해 웹 앱에 내장 카메라와 연동 한 것이다. 여기서, 피드백 제공 (3)은 맞으면 “정답입니다!”라는 문구를 전송하고 효과음을 제공하도록 UI 결과 화면에 피드백 제공한 것이다. 이하, 본 발명의 사용 과정에 대하여 설명하면 다음과 같다. 상기한 바와 같이, 본 발명은 생체 신호를 수집해 감정을 실시간으로 인식하고 피드백을 제공하는 시스템에 있어서, 5가지 감정(기쁨, 슬픔, 분노, 불안, 당황)분류를 수행하도록 웹 앱에서 실행 한 VGG16 모델 (1), 사용자 얼굴을 인식하고, 표정 데이터를 실시간으로 추출하도록 카메라 모듈과 연결됨한 OpenCV 모델 (2), 눈썹, 눈, 입을 조작하여 감정에 맞는 표정을 만들고 학습하도록 UI 화면에서 게임형 인터페이스로 구현 한 게임 인터페이스 (45293), 사용자가 선택한 감정에서 사용자가 직접 카메라에 표정을 짓기위해 웹 앱에 내장 카메라와 연동 한 카메라 (45324), 맞으면 “정답입니다!”라는 문구를 전송하고 효과음을 제공하도록 UI 결과 화면에 피드백 제공한 피드백 제공 (3)으로 구성된 본 발명을 적용하여, 생체 신호를 수집해 감정을 실시간으로 인식하고 피드백을 제공하는 시스템의 생체 신호와 감정 데이터의 오차 발생 가능성으로 인해 감정 분석이 부정확할 수 있다는 문제점을 해소하도록 한 것이다. 또한, 본 발명의 실시예에 있어, 웹 앱에서 실행 한 VGG16 모델 (1)을 포함한 본 발명을 적용하여 실시하게 되면, 5가지 감정(기쁨, 슬픔, 분노, 불안, 당황)분류를 수행하도록 될 것이다. 또한, 본 발명의 실시예에 있어, 카메라 모듈과 연결됨한 OpenCV 모델 (2)을 포함한 본 발명을 적용하여 실시하게 되면, 사용자 얼굴을 인식하고, 표정 데이터를 실시간으로 추출하도록 될 것이다. 또한, 본 발명의 실시예에 있어, UI 화면에서 게임형 인터페이스로 구현 한 게임 인터페이스 (45293)를 포함한 본 발명을 적용하여 실시하게 되면, 눈썹, 눈, 입을 조작하여 감정에 맞는 표정을 만들고 학습하도록 될 것이다. 또한, 본 발명의 실시예에 있어, 웹 앱에 내장 카메라와 연동 한 카메라 (45324)를 포함한 본 발명을 적용하여 실시하게 되면, 사용자가 선택한 감정에서 사용자가 직접 카메라에 표정을 짓기위해 될 것이다. 또한, 본 발명의 실시예에 있어, UI 결과 화면에 피드백 제공한 피드백 제공 (3)을 포함한 본 발명을 적용하여 실시하게 되면, 맞으면 “정답입니다!”라는 문구를 전송하고 효과음을 제공하도록 될 것이다.