KR-20260062028-A - APPARATUS AND METHOD FOR GENERATING STEREOSCOPIC IMAGE BASED ON RELATIONSHIPS BETWEEN OBJECT AND THEIR COMPONENTS

Abstract

객체-구성요소 관계 기반 입체 이미지 생성 장치 및 방법이 개시된다. 객체-구성요소 관계 기반 입체 이미지 생성 방법은 객체-구성요소 관계 기반 입체 이미지 생성 장치의 프로세서에 의해 수행되는 입체 이미지 생성 방법으로서, 객체가 포함된 2차원 객체 이미지로부터 객체가 속하는 유형을 결정하는 단계와, 객체가 속하는 유형에 정의된 복수개의 객체 구성요소별 형상적 특징(feature)에 기초하여, 객체가 포함된 2차원 객체 이미지로부터 복수의 객체 구성요소별 이미지 영역(mask)을 구분하는 단계와, 2차원 객체 이미지에 복수의 객체 구성요소별 이미지 영역(mask)을 대응시켜 분할한 복수의 2차 객체 하위 이미지를 추출하는 단계와, 복수의 2차 객체 하위 이미지에 대한 복수의 3차원 하위 이미지를 생성하는 단계와, 복수의 3차원 하위 이미지를 조합하여 객체에 관한 입체 이미지를 생성하는 단계를 포함할 수 있다.

Inventors

• 김나영

Assignees

• 주식회사 퍼스팩티브

Dates

Publication Date

20260506

Application Date

20250910

Claims (1)

1. 객체-구성요소 관계 기반 입체 이미지 생성 장치의 프로세서에 의해 수행되는 입체 이미지 생성 방법으로서, 객체가 포함된 2차원 객체 이미지로부터 상기 객체가 속하는 유형을 결정하는 단계; 상기 객체가 속하는 유형에 정의된 복수개의 객체 구성요소별 형상적 특징(feature)에 기초하여, 상기 객체가 포함된 2차원 객체 이미지로부터 복수의 객체 구성요소별 이미지 영역(mask)을 구분하는 단계; 상기 2차원 객체 이미지에 상기 복수의 객체 구성요소별 이미지 영역(mask)을 대응시켜 분할한 복수의 2차 객체 하위 이미지를 추출하는 단계; 상기 복수의 2차 객체 하위 이미지에 대한 복수의 3차원 하위 이미지를 생성하는 단계; 및 상기 복수의 3차원 하위 이미지를 조합하여 상기 객체에 관한 입체 이미지를 생성하는 단계를 포함하는, 객체-구성요소 관계 기반 입체 이미지 생성 방법.

Description

객체-구성요소 관계 기반 입체 이미지 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING STEREOSCOPIC IMAGE BASED ON RELATIONSHIPS BETWEEN OBJECT AND THEIR COMPONENTS} 본 발명은 객체를 포함하는 2차원 객체 이미지로부터 객체와 그 구성요소 관계에 기반하여 객체를 구성하는 항목별 3차원 이미지를 생성하고 이를 조합하여 객체에 관한 입체 이미지를 생성하는 기술에 관한 것이다. 최근, 메타버스(metaverse), 가상ㆍ증강 현실(augmentedㆍvirtual reality)에 관한 관심이 높아지면서 종래 수작업 방식의 3차원 입체 영상 제작의 효율성을 개선하려는 기술에 관한 연구가 활발하고 진행되고 있다. 또한, 이러한 연구의 일환으로, 인공지능 컴퓨터 비전 기술을 이용하여 2차원 이미지를 3차원 이미지로 자동 생성(추론, 복원)하는 기술에 관한 연구도 진행되고 있다. 입체 이미지 생성 방법으로는 예를 들어, 2차원 객체 이미지로부터 3차원 객체 이미지를 생성하도록 미리 훈련된 3차원 이미지 복원 심층신경망 모델을 이용하여, 특정 2차원 객체 이미지에 대한 3차원 객체 이미지를 생성하는 기술이 있다. 3차원 이미지 복원 심층신경망 모델은 2차원 객체 학습 이미지를 입력으로 하고, 3차원 객체 학습 이미지를 레이블로 하는 훈련데이터에 의해 훈련될 수 있다. 이와 관련하여, 선행기술(공개특허 제10-2022-0063331호)에는 타깃 객체에 대한 2차원의 입력 이미지를 획득하고, 딥러닝 모델을 통해 입력 이미지를 타깃 객체에 대한 3차원의 복셀(voxel) 이미지로 복원하는 기술이 개시되어 있다. 그러나, 3차원 이미지 복원 심층신경망 모델을 이용하는 종래의 입체 이미지 생성 방법은 3차원 이미지 복원 심층신경망 모델에 학습되지 않는 2차원 객체 이미지가 입력되거나 객체가 포함된 2차원 이미지에 객체의 일부가 불분명한 경우, 2차원 객체 이미지로부터 생성되는 3차원 객체 이미지의 정확도가 떨어지게 된다. 따라서, 정확도를 높이기 위해서는 최대한 많은 종류의 다양한 객체 학습 이미지를 이용하여 훈련시켜야 하는데, 이러한 과정에서 데이터 자원, 처리 시간 및 처리 비용의 증가가 수반될 수밖에 없다. 따라서, 데이터 자원, 처리 시간 및 처리 비용을 감소시키면서도, 2차원 객체 이미지로부터 3차원 객체 이미지를 효과적으로 생성할 수 있는 기술이 필요하다. 도 1은 본 발명의 일실시예에 따른 객체-구성요소 관계 기반 입체 이미지 생성 장치, 단말, 서버 및 이들을 서로 연결하는 네트워크를 포함하는 객체-구성요소 관계 기반 입체 이미지 생성 시스템의 구성을 개략적으로 도시한 도면이다. 도 2는 본 발명의 일실시예에 따른 객체-구성요소 관계 기반 입체 이미지 생성 장치의 구성 일례를 도시한 도면이다. 도 3은 본 발명의 일실시예에 따른 객체-구성요소 관계 기반 입체 이미지 생성 장치의 다른 구성 일례를 도시한 도면이다. 도 4는 본 발명의 일실시예에 따른 객체-구성요소 관계 기반 입체 이미지 생성 장치에서 객체가 속하는 유형을 결정하는 일례를 설명하기 위한 도면이다. 도 5는 본 발명의 일실시예에 따른 입체 이미지 생성 장치에서 객체가 속하는 유형에 정의된 복수의 객체 구성요소별 형상적 특징(feature)에 기초하여, 객체 이미지로부터 복수의 객체 구성요소별 영역(mask)을 구분하는 일례를 설명하기 위한 도면이다. 도 6은 본 발명의 일실시예에 따른 객체-구성요소 관계 기반 입체 이미지 생성 장치에서 2차 객체 하위 이미지를 추출하는 일례를 설명하기 위한 도면이다. 도 7은 본 발명의 일실시예에 따른 객체-구성요소 관계 기반 입체 이미지 생성 장치에서 분할된 2차 객체 하위 이미지를 이용하여 객체에 관한 입체 이미지를 생성하는 일례를 설명하기 위한 도면이다. 도 8은 본 발명의 일실시예에 따른 객체-구성요소 관계 기반 입체 이미지 생성 장치에서 입체 이미지의 출력을 변경하는 일례를 설명하기 위한 도면이다. 도 9는 본 발명의 일실시예에 따른 객체-구성요소 관계 기반 입체 이미지 생성 방법을 도시한 흐름도이다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 도 1은 본 발명의 일실시예에 따른 객체-구성요소 관계 기반 입체 이미지 생성 장치, 단말, 서버 및 이들을 서로 연결하는 네트워크를 포함하는 객체-구성요소 관계 기반 입체 이미지 생성 시스템의 구성을 개략적으로 도시한 도면이다. 도 1을 참조하면, 객체-구성요소 관계 기반 입체 이미지 생성 시스템(100)은 단말(110), 객체-구성요소 관계 기반 입체 이미지 생성 장치(120), 서버(130) 및 네트워크(140)를 포함할 수 있다. 단말(110)은 예를 들어, 객체-구성요소 관계 기반 입체 이미지 생성 장치(120, 이하 입체 이미지 생성 장치라 표기함)와 통신할 수 있는 PC(Personal Computer), 노트북, 스마트폰, 웨어러블 디바이스(wearable device) 등일 수 있으며, 이에 한정되지 않는다. 단말(110)은 카메라 모듈에 의해 이미지를 촬영하고, 촬영된 이미지 또는 내부 메모리에 저장된 이미지와 함께, 혹은 내부 메모리에 저장된 이미지만을 입체 이미지 요청 메시지를 입체 이미지 생성 장치(120)에 전송할 수 있다. 입체 이미지 생성 장치(120)는 입체 이미지 생성에 사용되는 객체-구성요소 관계 추론 심층신경망 모델 및 3차원 이미지 생성 심층신경망 모델을 서버(130)로부터 수신하여 메모리에 저장할 수 있다. 입체 이미지 생성 장치(120)는 업데이트된 객체-구성요소 관계 추론 심층신경망 모델 및 3차원 이미지 생성 심층신경망 모델을 주기적으로 수신하여 메모리에 저장함으로써, 최신의 심층신경망 모델들을 유지할 수 있다. 실시예에서, 객체-구성요소 관계 추론 심층신경망 모델은 제1 객체-구성요소 관계 추론 심층신경망 모델 및 제2 객체-구성요소 관계 추론 심층신경망 모델을 포함할 수 있다. 입체 이미지 생성 장치(120)는 단말(110) 또는 내부 인터페이스를 통해 사용자로부터 이미지와 함께 입체 이미지 요청 메시지가 수신되면, 이미지에 포함된 객체에 관한 입체 이미지를 생성하여 단말(110)에 제공하거나, 또는 입체 이미지 생성 장치(120)의 디스플레이부를 통해 제공할 수 있다. 이때, 입체 이미지 생성 장치(120)는 이미지로부터 객체를 포함하는 2차원 객체 이미지를 식별하고, 제1 객체-구성요소 관계 추론 심층신경망 모델을 이용하여 객체가 속하는 유형을 결정할 수 있다. 입체 이미지 생성 장치(120)는 객체가 속하는 유형에 정의된 복수개의 객체 구성요소별 형상적 특징(feature)에 기초하여, 객체가 포함된 2차원 객체 이미지로부터 복수의 객체 구성요소별 이미지 영역(mask)을 구분할 수 있다. 이미지 생성 장치(120)는 제2 객체-구성요소 관계 추론 심층신경망 모델을 이용하여 객체가 포함된 2차원 객체 이미지로부터 복수의 객체 구성요소별 이미지 영역(mask) 및 구성요소명을 구분할 수 있다. 이미지 생성 장치(120)는 2차원 객체 이미지에 복수의 객체 구성요소별 이미지 영역(mask)을 대응시켜 분할한 복수의 2차 객체 하위 이미지를 추출할 수 있다. 이미지 생성 장치(120)는 3차원 이미지 생성 심층신경망 모델을 이용하여 복수의 2차 객체 하위 이미지에 대한 복수의 3차원 하위 이미지를 생성할 수 있다. 이미지 생성 장치(120)는 복수의 3차원 하위 이미지를 조합하여 객체에 관한 입체 이미지를 생성하고, 입체 이미지를 단말(110) 또는 내부 디스플레이부에 제공할 수 있다. 실시예에서, 입체 이미지 생성 장치(120)는 2차원 객체 이미지로부터 객체를 구성하는 요소별로 3차원 이미지 생성 심층신경망 모델을 통해 3차원 이미지를 생성하고, 이를 조합하여 생성한 입체 이미지를 제공함으로써, 종래의 3차원 이미지 복원 심층신경망 모델과 동일한 훈련데이터량으로 생성 가능한 객체의 종류를 기하급수적으로 증가시켜, 2차원 객체 이미지로부터의 객체에 관한 입체 이미지 생성시, 데이터 자원, 처리 시간 및 처리 비용을 감소시킬 수 있다. 또한, 2차 객체 하위 구성요소별 이미지의 형상을 3차원 가상 공간에 복원한 3차원 이미지를 생성하도록 훈련된 3차원 이미지 생성 심층신경망 모델을 통해, 입력된 2차