KR-102961013-B1 - System for Analyzing Filing Situation and Automatically Generating Filing Contents and Method Thereof

KR102961013B1KR 102961013 B1KR102961013 B1KR 102961013B1KR-102961013-B1

Abstract

본 발명은 민원을 쉽고 빠르게 신고할 수 있도록 하는 시스템 및 그 방법과 관련된 기술이다. 즉, 본 발명은 신고 상황을 파악해 신고 내용을 자동 생성하는 시스템 및 그 방법에 관한 것이다. 여기서, 본 발명의 신고 상황을 파악해 신고 내용을 자동 생성하는 시스템은 민원신고플랫폼이 설치되어 활성화되면 촬영 기능이 활성화 되면서 설치되어 있는 카메라를 통해 영상이미지를 생성하고 영상이미지에 있는 객체를 대상물객체와 환경객체로 분류하는 단말기부 및 단말기부와 데이터 통신 가능하게 연결되어 단말기부에서 분류된 대상물객체와 환경객체 간 거리가 기 설정된 불법여부근거에 부합하면 대상물객체를 불법객체로 판단하여 가공된 영상이미지 상에 기 설정된 불법객체의 내용 그리고 기 설정된 환경객체의 내용을 문자로 표시하는 시스템서버부를 포함한다. 그리고 신고 상황을 파악해 신고 내용을 자동 생성하는 방법은 (a) 단말기부에 민원신고플랫폼이 설치되어 활성화되면 촬영 기능이 활성화 되면서 설치되어 있는 카메라를 통해 영상이미지를 생성하고 영상이미지에 있는 객체를 대상물객체와 환경객체로 분류하는 단계; (b) 시스템서버부가 단말기부와 데이터 통신 가능하게 연결되어 단말기부에서 분류된 대상물객체와 환경객체 간 거리가 기 설정된 불법여부근거에 부합하면 대상물객체를 불법객체로 판단하여 가공된 영상이미지 상에 기 설정된 불법객체의 내용과 기 설정된 환경객체의 내용을 문자로 표시하는 단계를 포함한다.

Inventors

오창용

Assignees

(주) 에스알포스트

Dates

Publication Date: 20260506
Application Date: 20230801
Priority Date: 20230717

Claims (12)

삭제
신고 상황을 파악해 신고 내용을 자동 생성하는 시스템에 있어서, 민원신고플랫폼(11)이 설치되어 활성화되면, 촬영 기능이 활성화되면서 설치되어 있는 카메라를 통해 영상이미지를 생성하고, 영상이미지(A)에 있는 객체(B)를 대상물객체(B1)와 환경객체(B2)로 분류하는 단말기부(10); 및 단말기부(10)와 데이터 통신 가능하게 연결되어 단말기부(10)에서 분류된 대상물객체(B1)와 환경객체(B2) 간 거리가 기 설정된 불법여부근거에 부합하면 대상물객체(B1)를 불법객체(C1)로 판단하여, 가공된 영상이미지 상에 기 설정된 불법객체(C1)의 내용 그리고 기 설정된 환경객체(B2)의 내용을 문자로 표시하는 시스템서버부(20)를 포함하고, 단말기부(10)는, 민원신고플랫폼이 활성화 되면, 활성화되는 지점의 위치정보를 생성하는 위치모듈(101)과, 카메라를 활성화 시켜 촬영하여 영상이미지를 생성 가능하게 하는 촬영모듈(102)과, 기준노이즈, 기준명도 및 기준크기가 설정되어 있고, 영상이미지에서 기 설정된 기준노이즈를 검출하여 제거하고 영상이미지를 기 설정된 기준명도에 맞게 조정하고 영상이미지를 기 설정된 기준크기로 조정하며 영상이미지를 전처리 영상이미지로 변환시키는 전처리모듈(103)과, 전처리 영상이미지 상에 펜 그리기로 표시를 가능하게 하며 전처리 영상이미지를 마킹이미지로 변환시키는 마킹모듈(104)과, 마킹이미지에 있는 표시(D)를 탐지하여, 표시의 내측에 있는 객체를 내측객체(D1) 그리고 표시의 외측에 있는 객체를 외측객체(D2)로 구분하고 내측객체(D1)를 기 설정된 기준객체와 매칭시켜 매칭도가 기준값 이상이 되면 대상물객체(B1)로 식별하고 매칭도가 기준값 미만이 되면 환경객체(B2)로 식별하는 객체탐지모듈(105)과, 카메라와 대상물객체(B1)간 거리 또는 카메라와 환경객체(B2)간 거리를 산출하고, 대상물객체(B1)와 환경객체 간 거리를 산출하는 깊이추정모듈(106)을 포함하는, 신고 상황을 파악해 신고 내용을 자동 생성하는 시스템(1).
삭제
제2항에 있어서, 단말기부(10)는, 마킹이미지에 표시된 표시의 내측에 있는 내측객체(D1)와 표시의 외측에 있는 외측객체(D2)를 구분하여 내측객체와 외측객체의 경계를 파악하고, 내측객체의 각각의 픽셀에 레이블(label)을 붙여, 내측객체에 포함된 복수 개의 객체를 구분하고, 구분된 서로 다른 객체를 기 설정되어 있는 기준매핑객체에 매핑시키는 세그멘테이션모듈(107)을 더 포함하는, 신고 상황을 파악해 신고 내용을 자동 생성하는 시스템(1).
제2항에 있어서, 시스템서버부(20)는, 복수 개의 기준환경객체가 설정되어 있고 객체탐지모듈(105)에서 환경객체(B2)를 수신하여, 환경객체(B2)를 복수 개의 기준환경객체와 매칭시켜 매칭도가 기준값 이상이 되면, 환경객체(B2)의 신고유형을 기준환경객체에 설정된 신고의 유형으로 설정하는 유형분류모듈(201)을 포함하는, 신고 상황을 파악해 신고 내용을 자동 생성하는 시스템(1).
제5항에 있어서, 시스템서버부(20)는, 복수 개의 불법판단기준이 설정되어 있고 깊이추정모듈(105)에서 환경객체(B2)와 대상물객체(B1)간 거리를 수신하여 환경객체(B2)와 대상물객체(B1)간 거리를 복수 개의 불법판단기준에 매칭시켜, 환경객체(B2)와 대상물객체(B1)간 거리가 복수 개의 불법판단기준에 매칭되면 대상물객체(B1)를 불법객체로 판단하고 환경객체(B2)와 대상물객체(B1)간 거리가 복수 개의 불법판단기준에 매칭되지 않으면 대상물객체(B1)를 합법객체로 판단하는 불법여부판독모듈(202)을 포함하는, 신고 상황을 파악해 신고 내용을 자동 생성하는 시스템(1).
제5항에 있어서, 시스템서버부(20)는, 단말기부(10)와 제2단말기부(10-1)에서, 단말기부(10)에서 전송한 위치정보와 동일한 위치정보를 수신하고, 단말기부(10)에서 전송한 영상이미지에 있는 객체와 동일한 대상물객체(B1) 및 동일한 환경객체(B2)를 수신한 경우, 동일 신고로 판정하는 동일객체추적모듈(203)을 더 포함하는, 신고 상황을 파악해 신고 내용을 자동 생성하는 시스템(1).
제7항에 있어서, 시스템서버부(20)는, 동일객체추적모듈(203)에서 동일 신고로 판정된 경우, 제2단말기부(10-1)에 동일한 신고가 접수되었음을 알리는 메시지를 전송하는 중복신고확인모듈(204)을 더 포함하는, 신고 상황을 파악해 신고 내용을 자동 생성하는 시스템(1).
제6항에 있어서, 시스템서버부(20)는, 불법여부판독모듈(202)에서 불법객체와 환경객체(B2)를 수신하여, 불법객체에 설정된 내용과 환경객체에 설정된 내용을 조합하여 적어도 하나의 신고메시지를 자동 생성하는 메시지 자동생성모듈(205)을 더 포함하는, 신고 상황을 파악해 신고 내용을 자동 생성하는 시스템(1).
제9항에 있어서, 단말기부(10)는, 민원신고플랫폼이 활성화 되면 문자입력 기능 또는 음성녹음 기능 중 적어도 하나의 기능이 활성화 되어, 메시지 자동생성모듈(205)에서 신고메시지를 문자입력 기능으로 수정 또는 메시지 자동생성모듈(205)에서 신고메시지를 음성녹음 기능으로 수정 가능한 신고메시지수정모듈(108)을 더 포함하는, 신고 상황을 파악해 신고 내용을 자동 생성하는 시스템(1).
신고상황을 파악해 신고 내용을 자동 생성하는 시스템에서 수행하는 방법에 있어서, (a) 단말기부(10)에 민원신고플랫폼(11)이 설치되어 활성화되면, 촬영 기능이 활성화 되면서 설치되어 있는 카메라를 통해 영상이미지를 생성하고 영상이미지(A)에 있는 객체(B)를 대상물객체(B1)와 환경객체(B2)로 분류하는 단계; (b) 시스템서버부(20)가 단말기부(10)와 데이터 통신 가능하게 연결되어 단말기부(10)에서 분류된 대상물객체(B1)와 환경객체(B2) 간 거리가 기 설정된 불법여부근거에 부합하면 대상물객체(B1)를 불법객체(C1)로 판단하여, 가공된 영상이미지 상에 기 설정된 불법객체(C1)의 내용 그리고 기 설정된 환경객체(B2)의 내용을 문자로 표시하는 단계를 포함하는, 단말기부(10)는, 민원신고플랫폼이 활성화되면, 활성화되는 지점의 위치정보를 생성하는 위치모듈(101)과, 카메라를 활성화 시켜 촬영하여 영상이미지를 생성 가능하게 하는 촬영모듈(102)과, 기준노이즈, 기준명도 및 기준크기가 설정되어 있고, 영상이미지에서 기 설정된 기준노이즈를 검출하여 제거하고 영상이미지를 기 설정된 기준명도에 맞게 조정하고 영상이미지를 기 설정된 기준크기로 조정하며 영상이미지를 전처리 영상이미지로 변환시키는 전처리모듈(103)과, 전처리 영상이미지 상에 펜 그리기로 표시를 가능하게 하며 전처리 영상이미지를 마킹이미지로 변환시키는 마킹모듈(104)과, 마킹이미지에 있는 표시(D)를 탐지하여, 표시의 내측에 있는 객체를 내측객체(D1) 그리고 표시의 외측에 있는 객체를 외측객체(D2)로 구분하고 내측객체(D1)를 기 설정된 기준객체와 매칭시켜 매칭도가 기준값 이상이 되면 대상물객체(B1)로 식별하고 매칭도가 기준값 미만이 되면 환경객체(B2)로 식별하는 객체탐지모듈(105)과, 카메라와 대상물객체(B1)간 거리 또는 카메라와 환경객체(B2)간 거리를 산출하고, 대상물객체(B1)와 환경객체 간 거리를 산출하는 깊이추정모듈(106)을 포함하는, 신고 상황을 파악해 신고 내용을 자동 생성하는 방법.
제11항에 있어서, (c) 단말기부(10)의 민원신고플랫폼이 활성화 되면 문자입력 기능 또는 음성녹음 기능 중 적어도 하나의 기능이 활성화 되어, 시스템서버부(20)에서 생성된 신고메시지를 단말기부(10)에서 문자입력 기능으로 수정 하거나, 시스템서버부(20)에서 생성된 신고메시지를 단말기부(10)에서 음성녹음 기능으로 수정 가능한 단계를 포함하는, 신고 상황을 파악해 신고 내용을 자동 생성하는 방법.

Description

신고 상황을 파악해 신고 내용을 자동 생성하는 시스템 및 그 방법{System for Analyzing Filing Situation and Automatically Generating Filing Contents and Method Thereof} 본 발명은 민원을 쉽고 빠르게 신고할 수 있도록 하는 시스템 및 그 방법과 관련된 기술이다. 스마트폰이 보급됨에 따라 실시간으로 민원을 신고접수하는 시스템들이 개발되고 있다. 일례로, 스마트 폰에 설치된 안전 신문고 어플리케이션 또는 생활불편신고 어플리케이션을 통해, 인도 위에 있는 불법 주/정차 차량, 보행 시민의 안전을 위협하는 현수막, 점등되지 않는 가로등, 차량의 안전을 위협하는 싱크 홀 등을 접수하는 시스템들이 개발되고 있다. 어플리케이션을 통한 신고는 이미지 또는 영상이 첨부될 수 있다는 점에서 신고에 대한 내용 설명 및 신고에 대한 전달 측면에 있어 우수하다. 그러나, 현재의 모바일 신고는 많은 정보를 순차적으로 입력해야 한다. 이에, 신고자가 민원을 신고하는데 다소 불편함을 느낀다. 일례로, 신고자가 우산이나 지팡이 등을 들고 있는 경우, 한 손으로 스마트폰을 잡고 내용을 입력해야 하는 점, 단말기의 자판 입력이 익숙하지 않는 경우 원만하게 신고를 할 수 없는 점 등이 있다. 이에, 이러한 문제를 해결하기 위한 다양한 시스템 및 방법이 개발이 필요한 실정이다. 도 1은 본 발명의 일 실시예에 따른 신고 상황을 파악해 신고 내용을 자동 생성하는 시스템을 나타낸 도면이다. 도 2는 도 1의 단말기부에 설치된 플랫폼과 시스템서버에 포함된 복수 개의 모듈을 나타낸 도면이다. 도 3은 도 2의 단말기부에서 영상이미지를 분석하는 상태를 나타낸 도면이다. 도 4는 도 2의 단말기부의 작동을 나타낸 도면이다. 도 5는 도 2의 시스템서버의 작동을 나타낸 도면이다. 도 6은 도 2의 단말기부에서 신고내용이 생성되고, 신고자가 생성된 신고내용을 자판으로 정정한 상태를 나타낸 도면이다. 도 7은 도 2의 단말기부에서 신고내용이 생성되고, 신고자가 음성으로 신고내용을 정정한 상태를 나타낸 도면이다. 도 8 및 도 9는 본 발명의 일 실시예에 따른 신고 상황을 파악해 신고 내용을 자동 생성하는 시스템의 사용 상태를 나타낸 도면이다. 도 10은 본 발명의 일 실시예에 따른 신고 상황을 파악해 신고 내용을 자동 생성하는 방법의 순서도이다. 본 발명의 이점 및 특징 그리고 그것들을 달성하기 위한 시스템은 첨부되는 도면과 함께 상세하게 후술 되어 있는 실시 예를 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며 단지 본 실시 예는 본 발명의 개시가 완전 하도록 하고 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 이러한 본 발명은 오로지 청구항에 의해 정의될 뿐, 본 발명에 도시된 도면에 의해 한정되지 않는다. 본 발명에 도시된 도면은 발명의 범주를 완전하게 알려주기 위한 것일 뿐이다. 즉, 본 발명에 도시된 도면은 통상의 지식을 가진 자에게 설명을 하기 위한 것일 뿐이다. 이하, 도 1 내지 도 9를 참조하여, 신고 상황을 파악해 신고 내용을 자동 생성하는 시스템 및 그 방법에 대해 설명한다. 다만, 본 발명의 설명이 간결하고 명확할 수 있도록 도 1 및 도 2를 참조하여 신고 상황을 파악해 신고 내용을 자동 생성하는 시스템에 대한 개괄적인 설명을 한 후, 설명된 내용과 도 3 내지 도 9를 참조하여 신고 상황을 파악해 신고 내용을 자동 생성하는 시스템을 구성하는 구성요소 및 구성요소의 특징에 대해 구체적으로 설명한다. 이후, 도 10과 설명된 신고 상황을 파악해 신고 내용을 자동 생성하는 시스템의 설명에 기반하여 신고 상황을 파악해 신고 내용을 자동 생성하는 방법에 대해 구체적으로 설명한다. 도 1은 본 발명의 일 실시예에 따른 신고 상황을 파악해 신고 내용을 자동 생성하는 시스템을 나타낸 도면이고, 도 2는 도 1의 단말기부에 설치된 플랫폼과 시스템서버에 포함된 복수 개의 모듈을 나타낸 도면이다. 본 발명의 신고 상황을 파악해 신고 내용을 자동 생성하는 시스템(1)은 복수 개의 단말기부(10, 10-1)에서 전송된 민원신고에 대한 내용을 시스템서버부(20)에서 파악하고 파악된 내용을 문자로 자동 생성하여 신고자에게 제공함으로써 신고자가 민원신고에 대한 부담감을 갖지 않고 신고할 수 있도록 한다. 더욱이, 본 발명의 신고 상황을 파악해 신고 내용을 자동 생성하는 시스템(1)은 자동으로 생성된 신고 내용이 신고자의 상황판단에 의해 보다 정확하게 수정되도록 함으로써 현장 상황이 보다 정확하게 신고될 수 있도록 한다. 이때, 본 발명의 신고 상황을 파악해 신고 내용을 자동 생성하는 시스템(1)은 자동으로 생성된 내용을 신고자가 문자타입 또는 음성으로 정정할 수 있도록 하며 자판타입으로 메시지를 기입하는 것이 불편한 사람 또는 음성으로 신고가 불편한 사람들도 신고를 원만하게 할 수 있도록 한다. 본 발명의 신고 상황을 파악해 신고 내용을 자동 생성하는 시스템(1)은 도 1에 도시된 바와 같이 복수 개의 단말기부(10, 10-1) 및 복수 개의 단말기부(10, 10-1)와 데이터 통신 가능하게 연결된 시스템서버부(20)를 구성요소로 포함한다. 이하, 도 3 내지 도 5를 참조하여 신고 상황을 파악해 신고 내용을 자동 생성하는 시스템을 구성하는 구성요소에 대해 구체적으로 설명한다. 도 3은 도 2의 단말기부에서 영상이미지를 분석하는 상태를 나타낸 도면이고, 도 4는 도 2의 단말기부의 작동을 나타낸 도면이고, 도 5는 도 2의 시스템서버의 작동을 나타낸 도면이다. 단말기부(10)는 카메라가 설치되며 어플리케이션이 설치되는 컴퓨터가 될 수 있다. 일례로, 단말기부(10)는 스마트폰이 될 수 있다. 이러한 단말기부(10)에는 민원신고플랫폼(11)이 설치될 수 있다. 단말기부(10)는 민원신고플랫폼(11)이 활성화되면 촬영 기능, 문자입력 기능 또는 음성녹음 기능이 활성화 될 수 있다. 이에, 단말기부(10)는 도 3의 (a)에 도시된 바와 같이 영상이미지(A)를 생성할 수 있다. 그리고 단말기부(10)는 도 3의 (b)에 도시된 바와 같이 영상이미지(A)에 있는 객체(B)를 대상물객체(B1)와 환경객체(B2)로 분류할 수 있다. 이와 같은 단말기부(10)는 도 4에 도시된 바와 같이 단말기통신모듈(100), 위치모듈(101), 촬영모듈(102), 전처리모듈(103), 마킹모듈(104), 객체탐지모듈(105), 깊이추정모듈(106), 세그멘테이션모듈(107)을 포함한다. 여기서, 단말기통신모듈(100)은 카메라에서 촬영한 영상이미지 및 깊이추정모듈(106) 및 세그멘테이션모듈(107)에서 가공된 이미지를 시스템서버부(20)를 전송한다. 위치모듈(101)은 민원신고플랫폼이 활성화 되면 활성화 되는 지점의 위치정보를 생성한다. 일례로, 위치모듈(101)은 GPS모듈이 되어 GPS모듈에서 발생된 위치정보를 생성한다. 촬영모듈(102)은 카메라를 활성화 시켜 촬영 가능하게 하며 도 4의 (a)에 도시된 바와 같은 영상이미지(A)를 생성 가능하게 한다. 전처리모듈(103)은 기준노이즈, 기준명도 및 기준크기가 설정되어 있고 영상이미지(A)에서 기 설정된 기준노이즈를 검출하여 제거하고 영상이미지(A)를 기 설정된 기준명도에 맞게 조정하고 영상이미지(A)를 기 설정된 기준크기로 조정하며 영상이미지(A)를 제1가공이미지 즉, 전처리 영상이미지로 변환시킨다. 마킹모듈(104)은 전처리 영상이미지 상에 펜 그리기로 표시를 가능하게 하며 전처리 영상이미지를 제2가공이미지 즉, 마킹이미지로 변환시킬 수 있다. 객체탐지모듈(105)은 마킹이미지에 있는 표시(D)를 탐지하여, 표시의 내측에 있는 객체를 내측객체(D1) 그리고 표시의 외측에 있는 객체를 외측객체(D2)로 구분하고, 내측객체(D1)를 기 설정된 기준객체(높이, 깊이, 너비, 면적, 부피)와 매칭시켜 매칭도가 기준값 이상이 되면 대상물객체(B1)로 식별하고 매칭도가 기준값 미만이 되면 환경객체(B2)로 식별한다. 일례로, 객체탐지모듈(105)은 영상이미지에서 마킹된 객체 중심으로 탐지, 식별할 수 있다. 깊이추정모듈(106)은 카메라와 대상물객체(B1)간 거리 또는 카메라와 환경객체(B2)간 거리를 산출하고 대상물객체(B1)와 환경객체(B2) 간 거리를 산출할 수 있다. 일례로, 깊이추정모듈(106)은 모노큘러 깊이를 추정(Monocular Depth Estimation) 할 수 있고 카메라를 이용하여 카메라와 이미지내 객체까지의 거리를 추정할 수 있다. 그리고 한 대의 카메라로도 3D 정보를 얻을 수 있다. 또한, 깊이추정모듈(106)은 3D Reconstruction 즉, 카메라로 여러 각도에서 촬영한 결과를 바탕으로 3D 모델을 만들어 거리를 계산할 수 있다. 그리고 객체 간의 거리와 위치 관계를 분석할 수 있다. 또한, 깊이추정모듈(106)은 피쳐 매칭(Feature Matching) 즉, 여러 각도에서 촬영된 이미지들 사이의 공통 특징을 매칭하여 각도와 거리에 대한 정보를 획득할 수 있다. 그리고 단일 카메라로 여러 각도에서 촬영한 결과를 토대로 이미지들 사이의 점들을 연결하여 거리와 위치를 추정할 수 있다. 그리고 상대적인 거리를 계산할 수 있다. 그리고 깊이추정모듈(106)은 자세 추정 또는 포즈 추정(Pose Estimation)할 수 있다. 또한, 단일 카메라에서 여러 각도로 촬영한 이미지를 기반으로 객체 간의 거리를 계산할 수 있다. 그리고 픽셀 단위의 거리를 계산하고 카메라 시점에서 요인 객체까지의 실제 거리 변환, 이미지의 관점을 바꾸는 데 사용할 수 있다. 세그멘테이션모듈(107)은 마킹이미지에 표시된 표시의 내측에 있는 내측객체(D1)와 표시의 외측에 있는 외측객체(D2)를 구분하여 내측객체와 외측객체의 경계를 파악하고, 내측객체의 각각의 픽셀에 레이블(label)을 붙여 내측객체에 포함된 복수 개의 객체를 구분하고 구분된 서로 다른 객체를 기 설정되어 있는 기준매핑객체에 매핑 시킬 수 있다. 그리고 신고메시지수정모듈(108)은 시스템서버부(20