Search

KR-20260061563-A - Simulation system and method for generating customized behavior based on emotion and age analysis through facial recognition

KR20260061563AKR 20260061563 AKR20260061563 AKR 20260061563AKR-20260061563-A

Abstract

얼굴 인식을 통한 감정 및 나이 분석 기반 사용자 맞춤형 행동 생성 시뮬레이션 시스템 및 방법이 제공된다. 본 발명의 실시예에 따른 가상 캐릭터 생성 방법은, 뷰어를 통해 행동을 설정받고, 사용자의 얼굴 이미지로부터 사용자의 감정과 나이를 분석하며, 분석된 감정과 분석된 나이를 적용한 행동을 생성하고, 뷰어를 통해 가상 캐릭터를 설정받으며, 생성한 행동을 설정된 가상 캐릭터에 적용하여 행동하는 가상 캐릭터를 생성한다. 이에 의해, 감정과 나이와 같은 사용자 스타일을 인공기능 기반으로 분석하여 반영한 사용자 맞춤형 행동이 가능한 가상 캐릭터를 생성하여, 메타버스 등의 3차원 가상 세계에서 활용함으로써, 해당 응용 분야와 컨텐츠 활성화에 기여할 수 있게 된다.

Inventors

  • 김정호
  • 김보은
  • 정혜인

Assignees

  • 한국전자기술연구원

Dates

Publication Date
20260506
Application Date
20241028

Claims (12)

  1. 뷰어를 통해, 행동을 설정받는 단계; 사용자의 얼굴 이미지로부터 사용자의 감정을 분석하는 단계; 사용자의 얼굴 이미지로부터 사용자의 나이를 분석하는 단계; 분석된 감정과 분석된 나이를 적용한 행동을 생성하는 단계; 뷰어를 통해, 가상 캐릭터를 설정받는 단계; 생성한 행동을 설정된 가상 캐릭터에 적용하여, 행동하는 가상 캐릭터를 생성하는 단계;를 포함하는 것을 특징으로 하는 가상 캐릭터 생성 방법.
  2. 청구항 1에 있어서, 사용자 촬영을 통해, 사용자 이미지를 획득하는 단계; 획득된 사용자 이미지에서 얼굴 이미지를 추출하는 단계;를 더 포함하고, 감정 분석 단계는, 추출된 얼굴 이미지로부터 사용자의 감정을 분석하며, 나이 분석 단계는, 추출된 얼굴 이미지로부터 사용자의 나이를 분석하는 것을 특징으로 하는 가상 캐릭터 생성 방법.
  3. 청구항 1에 있어서, 행동 설정 단계는, 뷰어에서 디폴트로 주어진 행동, 뷰어에서 제공하는 행동들 중 사용자가 선택한 행동, 사용자가 업로드한 파일에 저장되어 있는 행동 중 하나로, 행동을 설정받는 것을 특징으로 하는 가상 캐릭터 생성 방법.
  4. 청구항 1에 있어서, 분석된 감정과 나이를 수정하는 단계;를 더 포함하고, 행동 생성 단계는, 수정된 감정과 분석된 나이를 적용한 행동을 생성하는 것을 특징으로 하는 가상 캐릭터 생성 방법.
  5. 청구항 1에 있어서, 행동 생성 단계는, 행동의 종류, 감정, 나이를 입력받아 입력된 감정과 나이가 스타일로 반영된 행동을 생성하도록 학습된 인공지능 모델을 이용하여, 행동을 생성하는 것을 특징으로 하는 가상 캐릭터 생성 방법.
  6. 청구항 1에 있어서, 행동 생성 단계에서 생성된 행동과 감정과 나이를 적용하지 않은 원본 행동을 뷰어에 나란히 표시하는 단계;를 더 포함하는 것을 특징으로 하는 가상 캐릭터 생성 방법.
  7. 청구항 6에 있어서, 가상 캐릭터 생성 단계에서 생성된 가상 캐릭터와 감정과 나이를 적용하지 않은 원본 행동에 따라 행동하는 가상 캐릭터를 뷰어에 나란히 표시하는 단계;를 더 포함하는 것을 특징으로 하는 가상 캐릭터 생성 방법.
  8. 청구항 1에 있어서, 가상 캐릭터 설정 단계는, 뷰어에서 제공가능한 다수의 가상 캐릭터들 중 하나를 사용자로부터 선택받는 것을 특징으로 하는 가상 캐릭터 생성 방법.
  9. 청구항 1에 있어서, 나이 분석 단계는, 사용자의 얼굴 이미지로부터 사용자의 성별을 추가로 분석하는 것을 특징으로 하는 가상 캐릭터 생성 방법.
  10. 사용자 단말과 통신가능하도록 연결되는 통신부; 및 사용자 단말에 제공한 뷰어를 통해 행동을 설정받고, 사용자의 얼굴 이미지로부터 사용자의 감정과 나이를 분석하며, 분석된 감정과 분석된 나이를 적용한 행동을 생성하고, 뷰어를 통해 가상 캐릭터를 설정받으며, 생성한 행동을 설정된 가상 캐릭터에 적용하여 행동하는 가상 캐릭터를 생성하는 프로세서;를 포함하는 것을 특징으로 하는 가상 캐릭터 생성 서버.
  11. 사용자의 얼굴 이미지로부터 사용자의 감정을 분석하는 단계; 사용자의 얼굴 이미지로부터 사용자의 나이를 분석하는 단계; 분석된 감정과 분석된 나이를 적용한 행동을 생성하는 단계; 생성한 행동을 설정된 가상 캐릭터에 적용하여, 행동하는 가상 캐릭터를 생성하는 단계;를 포함하는 것을 특징으로 하는 가상 캐릭터 생성 방법.
  12. 사용자 단말과 통신가능하도록 연결되는 통신부; 및 사용자 단말에 의해 촬영된 사용자의 얼굴 이미지로부터 사용자의 감정과 나이를 분석하고, 분석된 감정과 분석된 나이를 적용한 행동을 생성하며, 생성한 행동을 가상 캐릭터에 적용하여 행동하는 가상 캐릭터를 생성하는 프로세서;를 포함하는 것을 특징으로 하는 가상 캐릭터 생성 서버.

Description

얼굴 인식을 통한 감정 및 나이 분석 기반 사용자 맞춤형 행동 생성 시뮬레이션 시스템 및 방법{Simulation system and method for generating customized behavior based on emotion and age analysis through facial recognition} 본 발명은 인공지능 활용 기술에 관한 것으로, 더욱 상세하게는 인공지능 기반으로 사용자 맞춤형으로 행동하는 가상 캐릭터를 생성하는 시스템 및 방법에 관한 것이다. 메타버스와 같은 3차원 가상 세계에서 가상 캐릭터를 활용한 1인 미디어가 트렌드로 자리 잡으면서, 단순한 취미를 넘어 수익 창출이 가능한 시대로 바뀌고 있다. 하지만 기존 가상 캐릭터는 정해진 행동만이 가능하고, 사용자의 표정에 따라 캐릭터의 표정만 함께 바뀌는 수준에 그치고 있다. 이에 따라, 보다 현실적이고 개인화된 행동을 구현할 수 있는 사용자 맞춤형의 가상 캐릭터 생성을 위한 시스템이 필요하다. 한편 해당 시스템이 구축된다 하더라도, 고성능 GPU 자원이 필요하고, 사용 측면에서의 어려움이 예상되는 바, 일반 사용자가 이를 통해 가상 캐릭터를 생성하기에는 한계가 있을 것이다. 도 1은 본 발명의 일 실시예에 따른 사용자 맞춤형 행동 생성 시뮬레이션 시스템, 도 2는 본 발명의 다른 실시예에 따른 사용자 맞춤형 행동의 가상 캐릭터 생성 방법의 흐름을 도시한 도면, 도 3 내지 도 7은, 가상 캐릭터 생성 뷰어 예시, 도 8은, 도 1에 도시된 사용자 단말의 구성도. 도 9는, 도 1에 도시된 가상 캐릭터 생성 서버의 구성도이다. 이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다. 본 발명의 실시예에서는 얼굴 인식을 통한 감정 및 나이 분석 기반 사용자 맞춤형 행동 생성 시뮬레이션 시스템 및 방법을 제시한다. 인공지능 기술을 이용하여 사용자 이미지으로부터 감정과 나이를 인식하고 이를 스타일로 행동에 적용하여 사용자 맞춤형 행동을 생성하며, 생성된 행동을 가상 캐릭터에 반영하여 확인할 수 있도록 하는 기술이다. 또한 본 발명의 실시예에서는, 손쉬운 입력, 설정, 편집, 결과물 확인이 가능한 UI를 제공하는 웹 기반의 가상 캐릭터 생성 뷰어를 통해, 고성능 컴퓨팅 자원 확보 없이 그리고 3D 모델링이나 인공지능에 대한 사전지식 없는 비전문가도 손쉽게 가상 캐릭터를 생성하여 활용할 수 있도록 지원한다. 도 1은 본 발명의 일 실시예에 따른 사용자 맞춤형 행동 생성 시뮬레이션 시스템의 구성을 도시한 도면이다. 본 발명의 실시예에 따른 사용자 맞춤형 행동 생성 시뮬레이션 시스템은 도시된 바와 같이, 사용자 단말(100)과 가상 캐릭터 생성 서버(200)를 포함하여 구축된다. 사용자 단말(100)은 가상 캐릭터를 생성하여 컨텐츠/미디어 등에 활용하고자 하는 사용자의 단말 장치이다. 가상 캐릭터 생성 서버(200)는 사용자 맞춤형으로 행동하는 가상 캐릭터를 생성/제공하기 위한 가상 캐릭터 생성 뷰어를 웹 기반으로 사용자 단말(100)에 제공한다. 도 1에 제시된 시스템에 의해 사용자 맞춤형으로 행동하는 가상 캐릭터를 생성하는 과정에 대해, 이하에서 도 2를 참조하여 상세히 설명한다. 도 2는 본 발명의 다른 실시예에 따른 사용자 맞춤형 행동의 가상 캐릭터 생성 방법의 흐름을 도시한 도면이다. 도시된 바와 같이, 먼저 사용자를 촬영하여 사용자 이미지를 획득하고, 획득된 사용자 이미지에서 얼굴 이미지를 추출한다(S310). 사용자 이미지는 사용자 단말(100)에 구비된 카메라로 촬영되어 가상 캐릭터 생성 서버(200)로 전달된다. 도 3에는 가상 캐릭터 생성 서버(200)에서 제공하는 가상 캐릭터 생성 뷰어에 S310단계에서 촬영된 사용자 이미지가 표시되고, 사용자 이미지에서 추출한 얼굴을 바운딩 박스로 표시한 결과를 나타내었다. S310단계를 위해, 가상 캐릭터 생성 서버(200)는 인공지능 기반 얼굴 인식 모델을 탑재하고 있다. 다음 가상 캐릭터 생성 뷰어를 통해, 생성하고자 하는 행동을 설정한다(S320). 도 3에 도시된 가상 캐릭터 생성 뷰어의 우측에 나타난 바와 같이 특정 행동, 이를 테면, '걷기'가 디폴트로 설정되어 있고 이 행동을 표시하고 있다. 사용자는 이 행동을 선택하여도 되고, 사용자 이미지 하부의 행동 입력 창을 이용하여 가상 캐릭터 생성 뷰어에서 제공하는 다른 행동을 선택하거나 자신이 보유하고 있는 행동 파일을 업로드하여 해당 행동을 선택하는 것도 가능하다. 이후 가상 캐릭터 생성 서버(200)는 S320단계에서 추출된 얼굴 이미지로부터 감정을 분석한다(S330). 감정 분석은 사전 학습된 인공지능 기반의 감정 인식 모델로 얼굴 이미지의 주요 특징점을 추출하여 6가지 감정(일반/행복/화남/놀람/두려움/슬픔) 중 1개를 인식하는 과정이다. 다음 가상 캐릭터 생성 서버(200)는 S320단계에서 추출된 얼굴 이미지로부터 나이를 분석한다(S330). 나이 분석은 사전 학습된 인공지능 기반의 나이 인식 모델로 얼굴 이미지로부터 사용자의 나이(1~100세 사이)를 인식하는 과정이다. 한편 S330단계에서는 나이와 함께 성별을 추가로 분석하는 것도 가능하다. 도 4에 도시된 바와 같이 가상 캐릭터 생성 뷰어의 좌측에는 S330단계를 통해 분석된 감정인 '행복(happiness)'과 S340단계를 통해 분석된 나이인 '중년(neutral)'이 표시되어 있다. 한편 사용자는 가상 캐릭터 생성 뷰어에 표시된 감정과 나이를 자신에게 맞는 또는 자신이 원하는 감정과 나이로 수정하는 것도 가능하다. 이후 가상 캐릭터 생성 서버(200)는 S330단계에서 분석된 감정과 S340단계에서 분석된 나이를 적용한 행동을 생성한다(S350). 행동 생성은 사전 학습된 인공지능 기반 스타일(감정/나이) 적용 행동 생성 모델을 이용한다. 스타일 적용 행동 생성 모델은 행동의 종류, 감정, 나이를 입력받아 입력된 감정과 나이가 스타일로 반영된 새로운 행동을 생성하도록 학습된 인공지능 모델이다. 도 4에 예시된 바와 같이, 행동이 '걷기'로 설정되고, 사용자의 감정과 나이가 각각 '행복'과 '중년'인 경우, S350단계에서 생성되는 행동은 '중년이 행복하게 걷는 행동'이 된다. 다른 예로, 행동이 '뛰기'로 설정되고, 사용자의 감정과 나이가 각각 '놀람'과 '아이'인 경우, S350단계에서 생성되는 행동은 '아이가 놀란 상태로 뛰는 행동'이 될 것이다. 다음 가상 캐릭터 생성 서버(200)는 S350단계에서 생성된 행동을 가상 캐릭터 생성 뷰어에 표시한다(S360). S360단계의 수행 결과를 도 5에 예시하였다. 도시된 바와 같이, 가상 캐릭터 생성 뷰어의 우측 영역에는 2개의 행동이 나란히 표시되는데, 좌측의 파란색 뼈대의 행동은 사용자의 감정과 나이가 반영되지 않은 원본 행동이고, 우측의 빨간색 뼈대의 행동은 사용자의 감정과 나이가 반영된 S350단계에서 생성된 새로운 행동이다. 이를 통해, 사용자는 두 행동을 비교 관찰하면서 감정과 나이가 행동의 스타일에 미친 영향을 파악할 수 있게 된다. 이후 가상 캐릭터를 설정한다(S370). 가상 캐릭터 설정은 도 6에 도시된 바와 같이 가상 캐릭터 생성 뷰어의 좌측에 나타난 가상 캐릭터 선택 창에 나열된 가상 캐릭터들 중 하나를 선택하는 과정이다. 가상 캐릭터 선택 창을 표시하기 위한 영역을 확보하기 위해, 가상 캐릭터 생성 뷰어의 좌측 영역에서 사용자 이미지 창을 제거하고, 감정/나이 분석 결과 창을 위로 올려 그 하부에 영역을 마련하였다. 다음 가상 캐릭터 생성 서버(200)는 S370단계에서 설정된 가상 캐릭터 메시를 로드하고, 원본 행동과 S350단계에서 생성한 행동을 가상 캐릭터 메시에 각각 적용하여, 행동하는 가상 캐릭터들을 생성한다(S380). 그리고 가상 캐릭터 생성 서버(200)는 S380단계에서 생성한 가상 캐릭터들을 가상 캐릭터 생성 뷰어의 우측 영역에 함께 표시한다(S390). S390단계의 수행 결과를 도 7에 예시하였다. 도 5와 마찬가지로, 가상 캐릭터 생성 뷰어에는 2개의 행동이 나란히 표시되는데, 좌측 가상 캐릭터의 행동은 사용자의 감정과 나이가 반영되지 않은 원본 행동이고, 우측 가상 캐릭터의 행동은 사용자의 감정과 나이가 반영된 S350단계에서 생성된 행동이다. 이를 통해, 사용자는 두 행동을 비교 관찰하면서 감정과 나이가 행동의 스타일에 미친 영향을 파악할 수 있게 된다. 지금까지 사용자 맞춤형 행동의 가상 캐릭터를 생성하는 과정에 대해 상세히 설명하였다. 이하에서는 도 1에 제시된 시스템의 구성들에 대해, 도 8 및 도 9를 참조하여 상세히 설명한다. 도 8은, 도 1에 도시된 사용자 단말(100)의 구성을 도시한 도면이다. 사용자 단말(100)은 도시된 바와 같이 카메라(110), 출력부(120), 프로세서(130), 입력부(140) 및 통신부(150)를 포함하여 구성되는 컴퓨팅 시스템으로 구현할 수 있다. 컴퓨팅 시스템에는, PC, 스마트폰, 태블릿 PC가 포함되는데, 사용자 단말(100)이 스마트폰, 태블릿 PC인 경우, 출력부(120)와 입력부(140)는 터치 스크린으로 통합하여 구현한다. 카메라(110)는 사용자를 촬영하여 이미지를 생성하기 위한 구성이다. 통신부(150)는 인터넷 연결을 통해 가상 캐릭터 생성 서버(200)에 접속하기 위한 통신 인터페이스이다. 출력부(120)는 프로세서(130)에 의한 연산 수행 결과가 표시되는 출력 수단이며, 입력부(140)는 사용자 명령을 입력받아 프로세서(130)로 전달하는 사용자 인터페이스이다. 본 발명의 실시예와 관련하여 프로세서(230)는 카메라(110)를 통해 생성된 사용자 이미지를 통신부(150)를 통해 가상 캐릭터 생성 서버(200)에 전달하고, 가상 캐릭터 생성 서버(200)가 제공하는 가상 캐릭터 생성 뷰어와 내용물을 출력부(120)에 표시하며, 뷰어를 통해 입력부(140)로 입력되는 사용자 명령을 가상 캐릭터 생성 서버(200)에 전달한다. 도 9는, 도 1에 도시된 가상 캐릭터 생성 서버(200)의 구성을 도시한 도면이다. 가상 캐릭터 생성 서버(200)는 도시된 바와 같이 통신부(210), 프로세서(220) 및 저장부(230)를 포함하여 구성되는 컴퓨팅 시스템으로 구