KR-20260060559-A - Apparatus and Method for Inferring 3D Structure of Architecture based on Image

KR20260060559AKR 20260060559 AKR20260060559 AKR 20260060559AKR-20260060559-A

Abstract

이미지 기반으로 건축물의 3차원 구조를 추론하는 장치 및 방법이 개시된다. 본 발명의 실시예에 따른 이미지 기반으로 건축물의 3차원 구조를 추론하는 장치는, 적어도 하나의 프로그램이 기록된 메모리, 및 프로그램을 실행하는 프로세서를 포함하며, 프로그램은, 건축물에 대한 적어도 하나의 이미지를 입력받아 이미지의 종류를 분류하는 단계, 이미지 각각의 3차원 좌표 체계를 생성하는 단계, 이미지 각각에 포함된 적어도 하나의 구성 요소를 검출하는 단계, 이미지들 간의 스케일을 조정하는 단계, 이미지 각각의 3차원 좌표 체계를 기반으로 스케일링된 이미지에서의 각 구성 요소의 3차원 좌표를 추정하는 단계, 및 추정된 각 구성 요소들의 3차원 좌표 정보를 기반으로 건축물을 3차원 모델링하는 단계를 수행할 수 있다.

Inventors

정다운
이승재
고종국
이수웅
이용식
이주원

Assignees

한국전자통신연구원

Dates

Publication Date: 20260506
Application Date: 20241025

Claims (20)

적어도 하나의 프로그램이 기록된 메모리; 및 프로그램을 실행하는 프로세서를 포함하며, 프로그램은, 건축물에 대한 적어도 하나의 이미지를 입력받아 이미지의 종류를 분류하는 단계; 이미지 각각의 3차원 좌표 체계를 생성하는 단계; 이미지 각각에 포함된 적어도 하나의 구성 요소를 검출하는 단계; 이미지들 간의 스케일을 조정하는 단계; 이미지 각각의 3차원 좌표 체계를 기반으로 스케일링된 이미지에서의 각 구성 요소의 3차원 좌표를 추정하는 단계; 및 추정된 각 구성 요소들의 3차원 좌표 정보를 기반으로 건축물을 3차원 모델링하는 단계를 수행하는, 이미지 기반으로 건축물의 3차원 구조를 추론하는 장치.
제1 항에 있어서, 프로그램은, 이미지를 분류하는 단계에서, 미리 학습된 도면 분류 모델을 기반으로, 이미지를 평면도, 앙시도, 정면도, 배면도, 좌측면도, 우측면도, 종단면도 및 횡단면도를 포함하는 도면 종류들 중 하나로 분류하는, 이미지 기반으로 건축물의 3차원 구조를 추론하는 장치.
제1 항에 있어서, 프로그램은, 구성 요소를 검출하는 단계에서, 미리 학습된 분류 모델을 기반으로, 이미지로부터 기단, 초석, 기둥, 공포, 보 및 도리를 포함하는 구성 요소들 중 하나의 위치 및 종류를 검출하는, 이미지 기반의 건축물 3차원 구조 추론 장치.
제1 항에 있어서, 프로그램은, 3차원 좌표 체계를 생성하는 단계에서, 이미지들 중 평면도의 3차원 좌표 체계를 설정하는 단계; 및 평면도의 3차원 좌표 체계를 기준으로 다른 종류의 이미지들의 2차원 좌표 체계를 3차원 좌표 체계로 변환하는 단계를 수행하는, 이미지 기반으로 건축물의 3차원 구조를 추론하는 장치.
제4 항에 있어서, 프로그램은, 좌표 체계를 생성하는 단계에서, 평면도의 세로축을 로 결정하고, 가로축을 로 결정하고, 오른손 법칙에 따라 를 결정하되, 평면은 평면도와 앙시도로 구성하고, 평면은 정면도, 배면도 및 횡단면도로 구성하고, 평면은 좌측면도, 우측면도 및 종단면도로 구성하는, 이미지 기반으로 건축물의 3차원 구조를 추론하는 장치.
제5 항에 있어서, 프로그램은, 구성 요소를 검출하는 단계에서, 구성 요소의 바운딩 박스(Bounding Box)는 로 구성하고, 스케일을 조정하는 단계에서 결정될 가로 W, 세로 H 길이에 따라 값이 조정되는, 이미지 기반으로 건축물의 3차원 구조를 추론하는 장치.
제4 항에 있어서, 프로그램은, 스케일을 조정하는 단계에서, 구성 요소를 검출하는 단계에서 검출된 평면도 및 정면도를 기준으로 기둥의 간격을 기반으로 결정하는, 이미지 기반으로 건축물의 3차원 구조를 추론하는 장치.
제7 항에 있어서, 프로그램은, 스케일을 조정하는 단계에서, 평면도의 평면에서 최 외곽 기둥의 각 바운딩 박스로부터 가로 및 세로 길이와 동일하게 앙시도의 가로 및 세로 길이를 결정하고, 평면도를 1로 앙시도의 비율을 결정하고, 횡단면도, 정면도 및 배면도는 평면도에서 검출된 최 외곽 기둥에 대한 가로 길이를 기준으로 비율을 결정하고, 세로 길이는 정면도를 기준으로 비율을 결정하고, 종단면도, 좌측면도 및 우측면도는 평면도에서 검출된 최 외곽 기둥에 대한 가로 길이를 기준으로 비율을 결정하고, 세로 길이는 정면도를 기준으로 비율을 결정하는, 이미지 기반으로 건축물의 3차원 구조를 추론하는 장치.
제8 항에 있어서, 프로그램은, 구성 요소의 좌표를 추정하는 단계에서, 의 좌표의 위치 및 개수를 결정함에 있어, 기단 및 초석은 평면도를 기준으로 결정하고, 기둥은 평면도 및 앙시도를 기준으로 결정하고, 의 좌표의 위치 및 개수를 결정함에 있어, 기단은 정면도 및 배면도를 기준으로 결정하고, 초석은 정면도 및 배면도를 기준으로 결정하고, 기둥은 정면도, 배면도 및 횡단면도를 기준으로 결정하고, 공포는 정면도, 배면도 및 횡단면도를 기준으로 결정하고, 보는 횡단면도를 기준으로 결정하고, 의 좌표의 위치 및 개수를 결정함에 있어, 기단은 좌측면도, 우측면도 및 종단면도를 기준으로 결정하고, 초석은 좌측면도, 우측면도 및 종단면도를 기준으로 결정하고, 기둥은 좌측면도, 우측면도 및 종단면도를 기준으로 결정하고, 공포는 좌측면도, 우측면도 및 종단면도를 기준으로 결정하고, 보는 종단면도를 기준으로 결정하고, 도리는 좌측면도, 우측면도 및 종단면도를 기준으로 결정하는, 이미지 기반으로 건축물의 3차원 구조를 추론하는 장치.
제9 항에 있어서, 프로그램은, 3차원 모델링하는 단계에서, 3차원 좌표에서 추론된 각 구성 요소의 위치 및 개수 정보를 기반으로 구성 요소간 연결 관계에 따라 건축물의 구조를 추론하되, 추론하는 순서는 기단, 초석, 기둥, 공포 및 보의 순으로 추론하는, 이미지 기반으로 건축물의 3차원 구조를 추론하는 장치.
건축물에 대한 적어도 하나의 이미지를 입력받아 이미지의 종류를 분류하는 단계; 이미지 각각의 3차원 좌표 체계를 생성하는 단계; 이미지 각각에 포함된 적어도 하나의 구성 요소를 검출하는 단계; 이미지들 간의 스케일을 조정하는 단계; 이미지 각각의 3차원 좌표 체계를 기반으로 스케일링된 이미지에서의 각 구성 요소의 3차원 좌표를 추정하는 단계; 및 추정된 각 구성 요소들의 3차원 좌표 정보를 기반으로 건축물을 3차원 모델링하는 단계를 포함하는, 이미지 기반으로 건축물의 3차원 구조를 추론하는 방법.
제11 항에 있어서, 이미지를 분류하는 단계는, 미리 학습된 도면 분류 모델을 기반으로, 이미지를 평면도, 앙시도, 정면도, 배면도, 좌측면도, 우측면도, 종단면도 및 횡단면도를 포함하는 도면 종류들 중 하나로 분류하는, 이미지 기반으로 건축물의 3차원 구조를 추론하는 방법.
제11 항에 있어서, 구성 요소를 검출하는 단계는, 미리 학습된 분류 모델을 기반으로, 이미지로부터 기단, 초석, 기둥, 공포, 보 및 도리를 포함하는 구성 요소들 중 하나의 위치 및 종류를 검출하는, 이미지 기반의 건축물 3차원 구조 추론 방법.
제11 항에 있어서, 좌표 체계를 생성하는 단계는, 이미지들 중 평면도의 3차원 좌표 체계를 설정하는 단계; 및 평면도의 3차원 좌표 체계를 기준으로 다른 종류의 이미지들의 2차원 좌표 체계를 3차원 좌표 체계로 변환하는 단계를 포함하는, 이미지 기반으로 건축물의 3차원 구조를 추론하는 방법.
제14 항에 있어서, 좌표 체계를 생성하는 단계는, 평면도의 세로축을 로 결정하고, 가로축을 로 결정하고, 오른손 법칙에 따라 를 결정하되, 평면은 평면도와 앙시도로 구성하고, 평면은 정면도, 배면도 및 횡단면도로 구성하고, 평면은 좌측면도, 우측면도 및 종단면도로 구성하는, 이미지 기반으로 건축물의 3차원 구조를 추론하는 방법.
제15 항에 있어서, 구성 요소를 검출하는 단계는, 구성 요소의 바운딩 박스(Bounding Box)는 로 구성하고, 스케일을 조정하는 단계에서 결정될 가로 W, 세로 H 길이에 따라 값이 조정되는, 이미지 기반으로 건축물의 3차원 구조를 추론하는 방법.
제14 항에 있어서, 스케일을 조정하는 단계는, 구성 요소를 검출하는 단계에서 검출된 평면도 및 정면도를 기준으로 기둥의 간격을 기반으로 결정하는, 이미지 기반으로 건축물의 3차원 구조를 추론하는 방법.
제17 항에 있어서, 스케일을 조정하는 단계는, 평면도의 평면에서 최 외곽 기둥의 각 바운딩 박스로부터 가로 및 세로 길이와 동일하게 앙시도의 가로 및 세로 길이를 결정하고, 평면도를 1로 앙시도의 비율을 결정하고, 횡단면도, 정면도 및 배면도는 평면도에서 검출된 최 외곽 기둥에 대한 가로 길이를 기준으로 비율을 결정하고, 세로 길이는 정면도를 기준으로 비율을 결정하고, 종단면도, 좌측면도 및 우측면도는 평면도에서 검출된 최 외곽 기둥에 대한 가로 길이를 기준으로 비율을 결정하고, 세로 길이는 정면도를 기준으로 비율을 결정하는, 이미지 기반으로 건축물의 3차원 구조를 추론하는 방법.
제18 항에 있어서, 구성 요소의 좌표를 추정하는 단계는, 의 좌표의 위치 및 개수를 결정함에 있어, 기단 및 초석은 평면도를 기준으로 결정하고, 기둥은 평면도 및 앙시도를 기준으로 결정하고, 의 좌표의 위치 및 개수를 결정함에 있어, 기단은 정면도 및 배면도를 기준으로 결정하고, 초석은 정면도 및 배면도를 기준으로 결정하고, 기둥은 정면도, 배면도 및 횡단면도를 기준으로 결정하고, 공포는 정면도, 배면도 및 횡단면도를 기준으로 결정하고, 보는 횡단면도를 기준으로 결정하고, 의 좌표의 위치 및 개수를 결정함에 있어, 기단은 좌측면도, 우측면도 및 종단면도를 기준으로 결정하고, 초석은 좌측면도, 우측면도 및 종단면도를 기준으로 결정하고, 기둥은 좌측면도, 우측면도 및 종단면도를 기준으로 결정하고, 공포는 좌측면도, 우측면도 및 종단면도를 기준으로 결정하고, 보는 종단면도를 기준으로 결정하고, 도리는 좌측면도, 우측면도 및 종단면도를 기준으로 결정하는, 이미지 기반으로 건축물의 3차원 구조를 추론하는 방법.
제19 항에 있어서, 3차원 모델링하는 단계는, 3차원 좌표에서 추론된 각 구성 요소의 위치 및 개수 정보를 기반으로 구성 요소간 연결 관계에 따라 건축물의 구조를 추론하되, 추론하는 순서는 기단, 초석, 기둥, 공포 및 보의 순으로 추론하는, 이미지 기반으로 건축물의 3차원 구조를 추론하는 방법.

Description

이미지 기반으로 건축물의 3차원 구조를 추론하는 장치 및 방법{Apparatus and Method for Inferring 3D Structure of Architecture based on Image} 기재된 실시예는 전통 건축물의 도면 및 건축물 이미지를 활용해 구성 요소의 위치 및 구조를 추론하는 기술에 관한 것이다. 전통 건축물의 3차원 모델링은 문화 유산 보존과 복원에 중요한 역할을 한다. 전통 건축물을 3차원 모델링하기 위해서는 건축물의 정확한 구조적 정보가 필요하지만 수리 해체하지 않고 서는 내부 구조를 파악하기 어렵다. 따라서, 전통 건축물의 도면 이미지를 바탕으로 구성 요소를 파악해 모델링해야만 한다. 건축물의 3차원 구조를 추론하는 연구들은 포인트 클라우드(Point Cloud)를 주로 이용해왔고, 이에 필요한 대용량 데이터베이스를 구축했다. 특히, 건축물의 구조와 여러 구성 요소 추론에 관련한 대표적인 데이터 셋으로는 BuildingNet이 있다. 이는 기존의 포인트 클라우드 데이터 셋인 ShapeNet과 PartNet이 단일 객체와 객체의 구성 요소를 라벨링하는 것에 더해 구성 요소간 공간적 관계 및 배치를 명시화 했다. 건물 모델은 보다 정밀한 라벨링을 제공하기 위해 많은 양의 데이터로 구성되어야 하고, 각 구성 요소들은 그것의 세부 정보와 기하학적 데이터를 추가적으로 포함해야만 했다. 하지만, 여러 구성 요소를 고려해 공간적 관계를 연결하는 것이 복잡하고, 각 요소 간의 연결 및 배치가 매우 정확해야만 구조를 추론할 수 있다는 문제점을 가지고 있다. 게다가, 전통 건축물은 해체 수리 및 복원 과정이 아니면 스캐너 등을 이용한 포인트 클라우드 생성이 현실적으로 불가능하기 때문에 데이터 셋 구축이 어렵다. 또한, 현대의 건축물은 설계 과정에서 3차원 설계도 및 모델링을 구현하는 것이 필수적으로 요구되지만, 전통 건축물이나 문화 유산은 분해 조립할 수 없으므로 모델링 기술이 매우 중요하다. 도 1은 실시예에 따른 이미지 기반으로 건축물의 3차원 구조를 추론하는 방법을 설명하기 위한 순서도이다. 도 2는 실시예에 따라 분류 모델을 기반으로 횡단면도에서 구성 요소의 위치와 종류를 검출한 예시도이다. 도 3은 실시예에 따라 분류 모델을 기반으로 종단면도에서 구성 요소의 위치와 종류를 검출한 예시도이다. 도 4 내지 도 11은 평면도를 기준으로 3차원 좌표체계에서 도면 분류된 이미지들의 배치 예시도이다. 도 12는 객체의 BBox에 대한 평면도와 앙시도의 3차원 좌표값과 공식을 도시한 예시도이다. 도 13은 객체의 BBox에 대한 정면도와 횡단면도의 3차원 좌표값과 공식을 도시한 예시도이다. 도 14는 객체의 BBox에 대한 배면도의 3차원 좌표값과 공식을 도시한 도면이다. 도 15은 객체의 BBox에 대한 좌측면도의 3차원 좌표값과 공식을 도시한 도면이다. 도 16은 객체의 BBox에 대한 우측면도의 3차원 좌표값과 공식을 도시한 도면이다. 도 17은 실시예에 따른 평면도와 앙시도의 검출된 기둥과 가로 및 세로 길이의 예시도이다. 도 18은 실시예에 따른 평면도, 횡단면도, 정면도, 배면도의 기둥 BBox 및 가로, 세로 길이의 예시도이다. 도 19는 실시예에 따른 종단면도, 좌측면도 및 우측면도의 기둥 BBox 및 가로, 세로 길이의 예시도이다. 도 20 및 도 21은 기단 구조 추론을 설명하기 위한 예시도이다. 도 22 및 23은 초석 구조 추론을 설명하기 위한 예시도이다. 도 24 및 도 25는 기둥 구조 추론을 설명하기 위한 예시도이다. 도 26은 공포의 구조 추론을 설명하기 위한 예시도이다. 도 27 및 도 28은 측면도의 최 외곽 기둥의 위치에 따른 보의 구조 추론의 예시도이다. 도 29 및 도 30은 횡단면도의 기둥의 중심에 따른 보의 구조 추론의 예시도이다. 도 31은 실시예에 따라 3차원 모델링된 1고주 5량가 구조의 예시도이다. 도 32는 실시예에 따른 컴퓨터 시스템 구성을 나타낸 도면이다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. 비록 "제1" 또는 "제2" 등이 다양한 구성요소를 서술하기 위해서 사용되나, 이러한 구성요소는 상기와 같은 용어에 의해 제한되지 않는다. 상기와 같은 용어는 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용될 수 있다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있다. 본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소 또는 단계가 하나 이상의 다른 구성요소 또는 단계의 존재 또는 추가를 배제하지 않는다는 의미를 내포한다. 다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 해석될 수 있다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 도 1은 실시예에 따른 이미지 기반으로 건축물의 3차원 구조를 추론하는 방법을 설명하기 위한 순서도이다. 도 1을 참조하면, 이미지 기반으로 건축물의 3차원 구조를 추론하는 방법은, 건축물에 대한 적어도 하나의 이미지를 입력받아 이미지 각각의 종류를 분류하는 단계(S110), 이미지 각각의 좌표 체계를 생성하는 단계(S120), 이미지 각각에 포함된 적어도 하나의 구성 요소를 검출하는 단계(S130), 이미지 간의 스케일을 조정하는 단계(S140), 이미지 각각의 좌표 체계를 기반으로 스케일링된 이미지에서의 각 구성 요소의 좌표를 추정하는 단계(S150), 및 추정된 각 구성 요소들의 좌표 정보를 기반으로 건축물을 3차원 모델링하는 단계(S160)를 포함할 수 있다. 실시예에 따른 이미지 각각의 종류를 분류하는 단계(S110)에서, 수집된 이미지의 종류를 구분하도록 미리 학습된 도면 분류(classification) 모델을 이용할 수 있다. 여기서, 이미지는, 건축물을 촬영한 사진 및 건축물의 설계 도면을 포함하는 2차원 이미지를 포함할 수 있다. 이때, 이미지의 종류는, 평면도, 앙시도, 정면도, 배면도, 좌측면도, 우측면도, 종단면도 및 횡단면도 중 적어도 하나를 포함할 수 있다. 실시예에 따른 구성 요소를 검출하는 단계(S130)에서, 이미지에서 구성 요소를 검출하도록 미리 학습된 분류 모델을 이용하여 구성 요소의 위치와 종류를 검출한다. 이러한 분류 모델을 학습하기 위해서는 검출할 구성 요소를 선정하고, 수집된 이미지에 검출할 구성 요소가 라벨링된 학습 데이터가 구성되어야 한다. 이때, 검출할 구성 요소는, 기단(起端), 초석(礎石), 기둥, 공포(, Bracket Set), 보(堡) 및 도리(道里)를 포함할 수 있다. 도 2는 실시예에 따라 분류 모델을 기반으로 횡단면도에서 구성 요소의 위치와 종류를 검출한 예시도이고, 도 3은 실시예에 따라 분류 모델을 기반으로 종단면도에서 구성 요소의 위치와 종류를 검출한 예시도이다. 도 2 및 도 3에 도시된 바와 같이, 분류 모델은 건축물의 도면이 입력됨에 따라 건축물의 구성 요소들을 검출하여 바운딩 박스(Bounding Box, BBox)로 표시하여 출력할 수 있다. 실시예에 따른 좌표 체계를 생성하는 단계(S120)에서, 하나의 건축물에 대해 입력된 도면 및 이미지들 간의 3차원 좌표 체계를 설정하고, 2차원 이미지의 좌표를 3차원 좌표로 변환한다. 이는 후술될 S150에서의 구성 요소의 3차원 좌표를 추론하기 위한 사전 준비 단계로 도면 및 건축 이미지들 간의 3차원 정보를 사전에 정의하는 단계일 수 있다. 이때, 2차원 도면의 3차원 좌표 체계는 평면도를 기준으로 분류된 도면 이미지들이 배치된다. 도 4 내지 도 11은 평면도를 기준으로 3차원 좌표체계에서 도면 분류된 이미지들의 배치 예시도이다. 도 4를 참조하면, 평면도의 세로축이 , 가로축이 , 그리고 오른손 법칙에 따라 를 결정한다. 그러나, 이는 본 발명의 일 실시예일 뿐, 본 발명의 이에 한정되지 않는다. 예컨대, 평면도의 세로축이 , 가로축이 로 설정될 수도 있고, 평면도의 세로축이 , 가로축이 로 설정될 수도 있음을 밝혀둔다. 또한, 3차원 좌표 쳬계를 결정함에 있어, 평면도를 기준으로 다른 2차원 도면들의 3차원 좌표 체계를 설정하는 것으로 후술되어 있으나, 기준이 되는 2차원 도면은 다른 종류의 도면들 중 하나가 될 수도 있다. 도 5를 참조하면, 앙시도는 평면도를 기준으로 평면에 배치될 수 있다. 그리고, 도 6 내지 도 8을 참조하면, 정면도, 배면도 및 횡단면도는 평면도를 기준으로 평면에 배치될 수 있다. 마지막으로, 도 9 내지 도 11을 참조하면, 좌측면도, 우측면도 및 종단면도는 평면도를 기준으로 평면에 배치될 수 있다. 실시예에 따라, 3차원 좌표 체계에 배치된 이미지들의 2차원 좌표계를 3차원 좌표계로 변환하는 공식을 따른다. 이하, 도 12 내지 16에 도시된 가로(W) 및 세로(H)는 2차원 도면에서의 가로 길이 및 세로 길이를 나타내는 부호 또는 변수를 의미할 뿐, 고정된 상수값을 의미하지는 않음을 밝혀둔다. 예컨대, 도 12에 도시된 평면도에서의 세로(H)와 도 13에 도시된 정면도에서의 세로(H)는 3차원 좌표계에서 그 길이의 대상이 상이할 수 있고, 도 12에 도시된 평면도에서의 가로(W)의 길이는 도 15의 좌측면도에서의 가로(W)의 길이는