KR-20260061687-A - APPARATUS AND METHOD FOR PROVIDING VIRTUAL FITTING SERVICE

Abstract

본 문서에 개시되는 일 실시 예에 따른 가상 피팅 서비스 제공 장치는 통신 회로, 메모리, 및 통신 회로 및 메모리와 전기적으로 연결된 프로세서를 포함하고, 프로세서는 사용자의 신체 사이즈 정보 및 신체 이미지에 기초하여 사용자에 대응하는 3D 아바타를 획득하고, 3D 아바타 및 사용자에 의해 선택된 타겟 상품에 대응하는 상품 특성 정보를 물리 엔진에 입력함으로써, 타겟 상품을 착용한 3D 아바타의 형상에 대응하는 2D 이미지를 획득하고, 사용자에 의해 입력된 텍스트 프롬프트, 2D 이미지 및 타겟 상품의 이미지를 이미지 생성 모델에 입력함으로써, 가상 피팅 결과 이미지를 제공할 수 있다.

Inventors

• 고낙헌
• 김종우

Assignees

• 주식회사 무버스

Dates

Publication Date

20260506

Application Date

20241028

Claims (6)

1. 가상 피팅 서비스 제공 장치에 있어서, 통신 회로; 메모리; 및 상기 통신 회로 및 상기 메모리와 전기적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 사용자의 신체 사이즈 정보 및 신체 이미지에 기초하여 상기 사용자에 대응하는 3D 아바타를 획득하고, 상기 3D 아바타 및 상기 사용자에 의해 선택된 타겟 상품에 대응하는 상품 특성 정보를 물리 엔진에 입력함으로써, 상기 타겟 상품을 착용한 상기 3D 아바타의 형상에 대응하는 2D 이미지를 획득하고, 상기 사용자에 의해 입력된 텍스트 프롬프트, 상기 2D 이미지 및 상기 타겟 상품의 이미지를 이미지 생성 모델에 입력함으로써, 가상 피팅 결과 이미지를 제공하는 것을 특징으로 하는, 장치.
2. 제 1 항에 있어서, 상기 상품 특성 정보는 상기 타겟 상품을 구성하는 좌표를 포함하는 3차원 패턴, 상기 타겟 상품의 소재 밀도 및 상기 타겟 상품의 소재 신축성에 대한 정보를 포함하는 것을 특징으로 하는, 장치.
3. 제 1 항에 있어서, 상기 프로세서는, 상기 3D 아바타의 자세 변경이 요청되면, 상기 물리 엔진을 이용하여 상기 사용자의 입력에 따라 상기 3D 아바타를 변형하고, 상기 물리 엔진을 이용하여 상기 타겟 상품을 착용한 상기 변형된 3D 아바타의 형상에 대응하는 상기 2D 이미지를 획득하는 것을 특징으로 하는, 장치.
4. 제 1 항에 있어서, 상기 프로세서는, 상기 2D 이미지를 전처리함으로써, 상기 2D 이미지에 대응하는 에지 이미지(edge image) 및 노멀 맵 이미지(normal map image)를 획득하고, 상기 에지 이미지 및 상기 노멀 맵 이미지를 상기 이미지 생성 모델을 위한 조건 제어 모듈에 입력함으로써, 상기 2D 이미지의 윤곽 및 음영을 반영하도록 상기 이미지 생성 모델의 파라미터를 조정하는 것을 특징으로 하는, 장치.
5. 제 1 항에 있어서, 상기 프로세서는, 상기 타겟 상품의 이미지를 상기 이미지 생성 모델을 위한 뉴럴 네트워크에 입력함으로써, 상기 타겟 상품의 특징을 반영하도록 상기 이미지 생성 모델의 파라미터를 조정하는 것을 특징으로 하는, 장치.
6. 가상 피팅 서비스 제공 방법에 있어서, 사용자의 신체 사이즈 정보 및 신체 이미지에 기초하여 상기 사용자에 대응하는 3D 아바타를 획득하는 단계; 상기 3D 아바타 및 상기 사용자에 의해 선택된 타겟 상품에 대응하는 상품 특성 정보를 물리 엔진에 입력함으로써, 상기 타겟 상품을 착용한 상기 3D 아바타의 형상에 대응하는 2D 이미지를 획득하는 단계; 및 상기 사용자에 의해 입력된 텍스트 프롬프트, 상기 2D 이미지 및 상기 타겟 상품의 이미지를 이미지 생성 모델에 입력함으로써, 가상 피팅 결과 이미지를 제공하는 단계를 포함하는 것을 특징으로 하는, 방법.

Description

가상 피팅 서비스 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING VIRTUAL FITTING SERVICE} 본 문서에서 개시되는 실시 예들은 3D 시뮬레이션 및 이미지 생성 모델을 이용하여 가상 피팅 서비스를 제공하기 위한 장치 및 방법과 관련된다. 가상 피팅 서비스는 최근 온라인 쇼핑 환경의 변화에 따라 시장이 빠르게 성장하고 있는 기술로, 소비자에게 보다 개인화된 쇼핑 경험을 제공하는 것에 기여하고 있다. 통상적인 온라인 쇼핑에서는 소비자가 상품을 실제로 착용해 볼 수 없으므로, 실제 착용 후 상품의 사이즈 또는 소재 등에 대한 불만족으로 인해 반품율이 높아져 판매자의 수익성이 떨어지고 소비자도 반품 비용을 낭비하게 되는 문제점이 있다. 이를 해결하기 위해, 가상 피팅 서비스는 다양한 기술을 활용하여 소비자가 자신의 신체에 적합한 상품을 미리 확인할 수 있는 기능을 제공할 수 있다. 가상 피팅 서비스는, 예를 들어, 증강 현실 또는 3D 모델링 등과 같은 기술을 활용할 수 있다. 증강 현실 기술은 소비자가 실시간으로 촬영하는 자신의 이미지에 상품의 이미지를 오버랩함으로써, 소비자가 실제로 상품을 착용한 모습을 시각화할 수 있다. 3D 모델링은 소비자의 신체와 상품을 3D 시뮬레이션함으로써, 소비자가 더욱 현실적인 착용 모습을 경험하도록 할 수 있다. 이 외에 다양한 기술을 활용함으로써 가상 피팅 서비스는 온라인 쇼핑의 한계점을 극복하는 역할을 수행할 수 있다. 도 1은 일 실시 예에 따른 가상 피팅 서비스 제공 장치의 동작 환경을 도시한다. 도 2는 일 실시 예에 따른 가상 피팅 서비스 제공 장치의 구성을 도시하는 블록도이다. 도 3은 일 실시 예에 따른 가상 피팅 서비스 제공 장치에서 3D 아바타를 생성하는 예시적인 동작을 설명하기 위한 도면이다. 도 4는 일 실시 예에 따른 가상 피팅 서비스 제공 장치에서 3D 아바타에 상품을 착용시킨 2D 이미지를 생성하는 예시적인 동작을 설명하기 위한 도면이다. 도 5는 일 실시 예에 따른 가상 피팅 서비스 제공 장치에서 2D 이미지를 전처리하는 예시적인 동작을 설명하기 위한 도면이다. 도 6은 일 실시 예에 따른 가상 피팅 서비스 제공 장치에서 상품 이미지를 학습하는 예시적인 동작을 설명하기 위한 도면이다. 도 7은 일 실시 예에 따른 가상 피팅 서비스 제공 장치에서 이미지 생성 모델을 이용하여 가상 피팅 결과 이미지를 생성하는 예시적인 동작을 설명하기 위한 도면이다. 도 8은 일 실시 예에 따른 가상 피팅 서비스 제공 방법을 설명하기 위한 흐름도이다. 도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다. 이하, 본 발명의 일부 실시 예들을 예시적인 도면을 통해서 상세하게 설명한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경, 균등물 또는 대체물을 포함하는 것으로 이해되어야 한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시 예를 설명함에 있어 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시 예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다. 도 1은 일 실시 예에 따른 가상 피팅 서비스 제공 장치의 동작 환경을 도시한다. 도 1을 참조하면, 일 실시 예에 다른 가상 피팅 서비스 제공 장치는 PC 또는 모바일 단말 등과 같은 사용자 단말로 구현될 수 있다. 사용자는 단말에 자신의 신체 정보를 입력하고, 단말의 카메라를 이용하여 자신의 신체 사진을 촬영할 수 있다. 신체 정보 및 신체 사진은 뉴럴 네트워크로 입력될 수 있고, 뉴럴 네트워크의 출력이 3D 바디 모델로 입력되어 사용자의 신체에 대응하는 3D 아바타가 생성될 수 있다. 사용자 단말은 쇼핑몰 서버로부터 사용자가 선택한 상품의 패턴 파일을 획득할 수 있고, 생성된 3D 아바타 및 상품 패턴 파일은 물리 엔진에 입력될 수 있다. 물리 엔진은 사용자가 상품을 착용한 상태를 시각적으로 시뮬레이션할 수 있고, 2D 시뮬레이션 이미지를 출력할 수 있다. 사용자 단말은 쇼핑몰 서버로부터 상품의 사진 이미지를 획득할 수 있고, 2D 시뮬레이션 이미지, 상품 이미지 및 사용자에 의해 입력된 텍스트 프롬프트는 AI 이미지 생성 모델에 입력될 수 있다. AI 이미지 생성 모델은 입력된 정보를 반영하여 가상 피팅 결과 이미지를 제공할 수 있다. 물리 엔진을 이용하여 사용자가 상품을 착용한 형상을 시뮬레이션하므로, 사용자의 신체 사이즈, 신체 형상, 상품 사이즈, 상품 형상 및 소재 특성 등이 정확히 반영된 2D 시뮬레이션 이미지가 생성될 수 있다. 또한, 생성된 2D 시뮬레이션 이미지를 그대로 제공하는 것이 아니라, 2D 시뮬레이션 이미지, 상품 이미지 및 텍스트 프롬프트에 기반하여 생성형 AI로 결과 이미지를 생성하므로, 결과 이미지의 사실성 및 현실감이 크게 향상될 수 있다. 도 2는 일 실시 예에 따른 가상 피팅 서비스 제공 장치의 구성을 도시하는 블록도이다. 도 2를 참조하면, 일 실시 예에 따른 가상 피팅 서비스 제공 장치(200)는 통신 회로(210), 메모리(220) 및 프로세서(230)를 포함할 수 있다. 가상 피팅 서비스 제공 장치(200)는, 예를 들어, PC 또는 모바일 단말 등과 같은 사용자 단말 형태로 구현될 수 있다. 통신 회로(210)는 외부 장치(20)와 무선 또는 유선으로 통신하도록 구성될 수 있다. 통신 회로(210)는 외부 장치(20)와 데이터를 송수신할 수 있다. 예를 들어, 통신 회로(210)는 외부 장치(20)로부터 상품 패턴 파일, 상품 특성 정보 및 상품 이미지 등을 수신할 수 있다. 다른 예를 들면, 통신 회로(210)는 신경망 모델, 3D 바디 모델, 물리 엔진 및/또는 이미지 생성 모델을 포함하는 외부 장치(20)로 데이터를 송신할 수 있다. 메모리(220)는 휘발성 메모리 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(220)는 가상 피팅 서비스 제공 장치(200)에서 취급되는 다양한 데이터를 저장할 수 있다. 예를 들어, 메모리(220)는 가상 피팅 서비스 제공 장치(200) 내부에서 처리된 데이터 및 AI 모델 등을 저장할 수 있고, 외부 장치(20)로부터 수신된 데이터를 저장할 수 있다. 프로세서(230)는 통신 회로(210) 및 메모리(220)와 전기적으로 연결될 수 있다. 프로세서(230)는 통신 회로(210) 및 메모리(220)를 제어할 수 있고, 다양한 데이터 처리 및 연산을 수행할 수 있다. 도 2에서는 프로세서(230)가 단일의 구성인 것으로 도시되었으나, 복수의 구성으로 분리되어 구현될 수도 있다. 프로세서(230)는 메모리(220)에 저장된 소프트웨어 내지 인스트럭션을 실행함으로써, 이하와 같은 동작을 수행할 수 있다. 일 실시 예에 따르면, 프로세서(230)는 사용자의 신체 사이즈 정보 및 신체 이미지에 기초하여 사용자에 대응하는 3D 아바타를 획득할 수 있다. 신체 사이즈 정보는, 예를 들어, 사용자의 신장(height)일 수 있다. 신체 이미지는, 예를 들어, 사용자의 전신을 정면에서 촬영한 사진 및 측면에서 촬영한 사진을 포함할 수 있다. 프로세서(230)는 신체 사이즈 정보 및 신체 이미지를 CNN(convolutional neural network)에 입력할 수 있고, CNN에 의해 출력된 특징 벡터 및 특정 포즈에 대한 조인트 좌표를 3D 바디 모델에 입력할 수 있다. 3D 바디 모델은, 예를 들어, SMPL 모델(skinned multi-person linear model)일 수 있다. 프로세서(230)는 3D 바디 모델을 이용하여 3D 아바타를 구성하는 좌표 정보를 획득할 수 있다. 일 실시 예에 따르면, 프로세서(230)는 3D 아바타 및 사용자에 의해 선택된 타겟 상품에 대응하는 상품 특성 정보를 물리 엔진에 입력함으로써, 타겟 상품을 착용한 3D 아바타의 형상에 대응하는 2D 이미지를 획득할 수 있다. 프로세서(230)는 통신 회로(210)를 이용하여 외부 장치(20)로부터 사용자가 선택한 타겟 상품에 대응하는 상품 특성 정보를 획득할 수 있다. 상품 특성 정보는, 예를 들어, 타겟 상품을 구성하는 좌표를 포함하는 3차원 패턴 파일(예: obj 또는 fbx 파일 등), 타겟 상품의 소재 밀도(단위 면적당 소재 무게) 및 타겟 상품의 소재 신축성(예: 위사 강도(실의 가로 방향 신축에 대한 반발력), 경사 강도(실의 세로 방향 신축에 대한 반발력) 및 바이어스 신축성(실의 대각선 방향 신축에 대한 반발력))에 대한 정보를 포함할 수 있다. 물리 엔진은 메모리(220)에 위치될 수도 있고, 외부 장치(20)에 위치될 수도 있다. 물리 엔진은, 예를 들어, 언리얼(Unreal) 또는 유니티(Unity) 등과 같은 엔진일 수 있다. 물리 엔진은 3D 아바타 및 상품 특성 정보에 기초하여 단위 면적당 신체가 직물에 가하는 압력을 나타내는 스트레스 맵(stress map) 및 단위 면적 당 직물이 늘어나는 정도(응력)를 나타내는 스트레인 맵(strain map)을 계산할 수 있고, 스트레스 맵 및 스트레인 맵을 이용하여 타겟 상품을 착용한 사용자의 모습을 시뮬레이션할 수 있다. 물리 엔진의 시뮬레이션 결과는 2D 이미지로 제공될 수 있다. 일 실시 예에 따르면, 프로세서(230)는 3D 아바타의 자세 변경이 요청되면, 물리 엔진을 이용하여 사용자의 입력에 따라 3D 아바타를 변형하고, 물리 엔진을 이용하여 타겟 상품을 착용한 변형된 3D 아바타의 형상에 대응하는 2D 이미지를 획득할 수 있다. 사용자는 3D 아바타의 다양한 자세를 요청할 수 있고, 물리 엔진은 사용자의 요청에 따라 변경된 자세로 3D 아바타를 시뮬레이션할 수 있고, 변형된 3D 아바타에 타겟 상품이 착용된 형상을 시뮬레이션할 수 있다. 자세 변경의 요청은 2D 이미지가 생성되기 이전, 이후 또는 가상 피팅 결과 이미지가 제공된 이후 등 다양한 시점에 가능할 수 있다. 일 실시 예에 따르면, 프