Search

KR-20260061315-A - Person Re-Identification system of detection frequency coordination for CCTV videos

KR20260061315AKR 20260061315 AKR20260061315 AKR 20260061315AKR-20260061315-A

Abstract

본 발명은 일반적으로 영상관제 시스템에서 실종자 및 범죄 용의자의 재식별(Person Re-ID) 작업을 효과적으로 처리하는 기술에 관한 것이다. 특히, 본 발명은 딥러닝 기술에 의해 CCTV 영상 프레임에서 휴먼객체 검출과 Re-ID 특징정보 추출을 수행하여 데이터베이스를 구축한 후에 Re-ID 특징정보 기반으로 탐색대상과의 동일인 이미지를 추출함으로써 동일인 재식별 시스템에서 객체 출현 정도에 따라 카메라별 탐지 빈도를 가변 설정하여 채널 용량을 확장하는 CCTV 영상에 대한 탐지 빈도 코디네이션 방식의 동일인 재식별 기술에 관한 것이다. 본 발명에 따르면 객체 출현 정도에 따라 CCTV 카메라 별로 탐지 빈도를 개별적으로 가변 설정함으로써 인구 이동이 많은 지역에 설치된 카메라에 더 많은 컴퓨팅 자원을 투입할 수 있어 동일인 재식별 정확도를 높이고 채널 용량을 확장할 수 있는 장점이 있다.

Inventors

  • 김태우
  • 이성진

Assignees

  • 이노뎁 주식회사

Dates

Publication Date
20260506
Application Date
20241026

Claims (5)

  1. 영상관제 시스템에서 CCTV 영상을 제공받아 정지 이미지를 추출하는 영상 추출기(410); 특정의 CCTV 카메라(10)에 대한 특정 시각의 정지 이미지를 상기 영상 추출기(410)에 요청하여 제공받는 프레임 추출기(420); 상기 프레임 추출기(420)로부터 일련의 정지 이미지를 전달받아 메세지 큐 저장하는 프레임 토픽 큐(431)와, 휴먼객체 이미지를 메세지 큐 저장하는 썸네일 토픽 큐(432)를 구비하는 메세지 큐 부재(430); 상기 프레임 토픽 큐(431)로부터 순차적으로 정지 이미지를 가져오고, 이미지 분석을 통해 상기 정지 이미지에서 휴먼객체를 검출한 경우에 썸네일 이미지로 휴먼객체 이미지를 생성하여 상기 썸네일 토픽 큐(432)에 저장하는 휴먼 검출기(440); 상기 썸네일 토픽 큐(432)로부터 순차적으로 휴먼객체 이미지를 가져와서 Re-ID 특징정보를 추출하는 Re-ID 추출기(450); 휴먼객체에 대한 상기 휴먼 검출기(440)의 탐지 기록, 상기 휴먼객체 이미지, 상기 Re-ID 특징정보의 조합을 저장 관리하는 Re-ID 데이터베이스(460); 사용자에 의해 탐색대상이 설정된 경우, 상기 Re-ID 데이터베이스(460)에서 Re-ID 특징정보를 조회하여 상기 탐색대상과 벡터거리가 특정의 임계치 이하인 휴먼객체를 탐색하여 해당 휴먼객체 이미지를 제공하는 Re-ID 처리부(470); 및 상기 휴먼 검출기(440)에 의한 각 CCTV 영상의 휴먼객체 검출 결과를 참조하여 CCTV 카메라(10) 별로 정지 이미지 추출하는 시간 간격을 스케줄링하고 그 스케줄에 따라 CCTV 카메라(10) 별로 상기 프레임 추출기(420)에 정지 이미지 추출을 요청하여 상기 프레임 추출기(420)가 정지 이미지를 추출하는 빈도를 CCTV 카메라(10) 별로 조정하는 코디네이터부(480); 를 포함하여 구성되는 CCTV 영상에 대한 탐지 빈도 코디네이션 방식의 동일인 재식별 시스템.
  2. 청구항 1에 있어서, 상기 코디네이터부(480)는 각 CCTV 영상에 대해 상기 휴먼 검출기(440)에 의한 탐지 객체 수가 미리 설정된 임계치 이하인 시간 길이에 대응하여 해당 CCTV 채널에 대한 정지 이미지 추출 시간 간격을 변경 설정하는 것을 특징으로 하는 CCTV 영상에 대한 탐지 빈도 코디네이션 방식의 동일인 재식별 시스템.
  3. 청구항 1에 있어서, 상기 코디네이터부(480)는 각 CCTV 영상에 대해 객체가 노출되는 평균 시간 간격을 식별하고 해당 CCTV 채널에 대한 정지 이미지 추출 시간 간격을 상기 평균 시간 간격으로 설정하는 것을 특징으로 하는 CCTV 영상에 대한 탐지 빈도 코디네이션 방식의 동일인 재식별 시스템.
  4. 청구항 1에 있어서, 상기 코디네이터부(480)는 각 CCTV 영상에 대해 객체가 노출되는 평균 시간 간격을 식별하고 해당 CCTV 채널에 대한 정지 이미지 추출 시간 간격을 상기 평균 시간 간격으로 설정한 후, 상기 휴먼 검출기(440)에 의한 탐지 객체 수가 미리 설정된 임계치 이하인 시간 길이가 일정 이상인 구간을 식별하면 해당 CCTV 채널에 대한 정지 이미지 추출 시간 간격을 증가 설정하는 것을 특징으로 하는 CCTV 영상에 대한 탐지 빈도 코디네이션 방식의 동일인 재식별 시스템.
  5. 청구항 1에 있어서, 상기 영상 추출기(410)는, 복수의 Web API를 구동하여 각자 독립적으로 HTTP로 특정 CCTV 카메라(10)의 특정 시각에 대한 프레임 이미지를 요청하여 RTSP로 해당 CCTV 카메라(10)로부터 프레임 이미지를 획득하는 WebAPI 부재(411); 및 상기 프레임 추출기(420)로부터 특정 CCTV 카메라의 특정 시점에 대한 정지 이미지를 요청받으면 상기 WebAPI 부재(411)의 복수의 Web API 중에서 어느 하나를 분산 선정하여 해당 정지 이미지 요청을 전달하고, 그에 대응하여 상기 WebAPI 부재(411)로부터 제공되는 정지 이미지를 상기 프레임 추출기(420)로 전달하여 정지 이미지 추출을 병렬화하는 로드 밸런서(412); 를 포함하여 구성되는 것을 특징으로 하는 CCTV 영상에 대한 탐지 빈도 코디네이션 방식의 동일인 재식별 시스템.

Description

CCTV 영상에 대한 탐지 빈도 코디네이션 방식의 동일인 재식별 시스템 {Person Re-Identification system of detection frequency coordination for CCTV videos} 본 발명은 일반적으로 영상관제 시스템에서 실종자 및 범죄 용의자의 재식별(Person Re-ID) 작업을 효과적으로 처리하는 기술에 관한 것이다. 특히, 본 발명은 딥러닝 기술에 의해 CCTV 영상 프레임에서 휴먼객체 검출과 Re-ID 특징정보 추출을 수행하여 데이터베이스를 구축한 후에 Re-ID 특징정보 기반으로 탐색대상과의 동일인 이미지를 추출함으로써 동일인 재식별 시스템에서 객체 출현 정도에 따라 카메라별 탐지 빈도를 가변 설정하여 채널 용량을 확장하는 CCTV 영상에 대한 탐지 빈도 코디네이션 방식의 동일인 재식별 기술에 관한 것이다. 최근에는 범죄 예방 및 안전사고 예방과 사후증거 확보 등을 위해 CCTV 기반의 영상관제 시스템을 구축하는 것이 일반적이다. CCTV 영상관제는 실종자나 범죄자를 신속하게 찾아내는 데 매우 큰 도움이 된다. 실종의 경우에 조기에 탐색할수록 실종자 발견 확률이 높아지고 범죄의 경우에도 조기에 범죄를 인지할수록 증거 확보나 범죄자 검거 확률이 올라간다. 그런데, CCTV 설치 대수가 증가함에 따라 CCTV 영상을 관제사가 수동으로 모니터링하는 방식은 비효율적이다. 이에, 영상관제 시스템의 관제 효율을 높이기 위해 CCTV 영상을 분석하는 기술에 대한 연구가 활발하다. [도 1]은 영상관제 시스템의 일반적인 구성도이다. CCTV 카메라(10)는 여러 지점에 분산 설치되어 촬영 영상을 영상관제 장치(100)로 실시간 제공한다. CCTV 카메라(10)는 고해상도(예: Full HD) 및 고프레임(예: 초당 24프레임)으로 영상을 생성하여 H.264 AVC 및 H.265 HEVC 등으로 영상압축하여 전송하는 것이 일반적이다. 영상관제 장치(100)는 CCTV 카메라(10)의 촬영 영상을 관제사에게 실시간 모니터링 제공하고 추후 확인을 위해 스토리지 장치(200)에 저장한다. 또한, 영상관제 장치(100)는 CCTV 영상을 VMS 장치(300)로 전달하여 영상 관리를 지시한다. CCTV 영상관제에서 객체 탐색(object searching)과 객체 추적(object tracking)은 중요한 기능이다. 객체 탐색은 다수의 CCTV 영상에서 특정 객체(예: 사람, 자동차)를 찾는 기능이고, 객체 추적은 특정 객체의 이동 궤적을 식별하는 기능이다. 이를 위해 영상관제 장치(100)는 CCTV 영상 분석을 통해 객체 검출, 추적대상 객체의 설정, 객체 동일성 확인, 이동궤적 식별 등을 수행한다. 객체 탐색의 특별한 형태로서 최근들어 사람 재식별(Person Re-Identification, Re-ID) 기술에 대한 관심이 높다. 사람 재식별(Re-ID) 기술은 CCTV 영상에서 타겟 대상이 특정되었을 때 다수의 CCTV 영상에서 해당 객체(동일 객체)를 찾는 것을 의미하는데 실종자 탐지, 범죄자 추적, 공공 안전을 위한 CCTV 기반 감시 분야에서 유용하다. 다수의 CCTV 카메라에서 실시간으로 사람을 탐지 및 식별해야 하므로 영상 처리의 정확성과 효율성 둘다 중요하다. 사람 재식별(Re-ID) 기술의 주요 해결 과제는 옷차림 변화, 일부 가려짐, 자세 변화, 다양한 카메라 각도 및 해상도 차이 등이다. 이러한 과제를 해결하기 위해 딥러닝 기술, 머신러닝 기술, 모달 데이터(modal data) 처리 기술, IoT 센서 기술 등을 비롯한 다양한 접근 방식이 연구되고 있다. [도 2]는 CCTV 영상에서 동일인 재식별을 수행하는 일 실시예 순서도이다. 먼저, CCTV 영상을 동영상 압축표준(예: H.264 AVC, H.265 HEVC)에 따라 디코딩하여 재생 영상을 획득하고(S10), 재생영상을 구성하는 프레임 이미지들을 작은 이미지, 예컨대 320x240 픽셀 정도로 다운스케일 리사이징(down-scale resizing)한다(S20). 그리고, 리사이징된 프레임 이미지들에 대해 차영상(differentials)을 구하고 재생영상 분석을 통해 휴먼객체(human objects)를 식별한 후에(S30), 다수의 CCTV 영상에서 식별된 휴먼객체들에 대해 Re-ID 특징정보(Re-ID Feature)를 추출하고 타겟 대상과의 동일 객체 분석 및 탐색 작업을 수행한다(S40). 이러한 과정은 연산 복잡도가 높고 컴퓨팅 자원을 많이 요구하며, 그로 인해 한 대의 VMS 장치가 동시 처리할 수 있는 채널의 수가 상당히 제한된다. 일반적인 영상관제 시스템에서 동일인 재식별의 동시 처리 용량은 통상 10채널 정도이다. 다수의 CCTV 카메라를 설치하는 경우에는 비용 증가와 물리적 공간 확보라는 어려운 문제를 유발한다. [도 1]은 영상관제 시스템의 일반적인 구성도. [도 2]는 CCTV 영상에서 동일인 재식별을 수행하는 일 실시예 순서도. [도 3]은 본 발명에 따른 동일인 재식별 기술을 채택한 영상관제 시스템의 전체 구성도. [도 4]는 본 발명에서 동일인 재식별 프로세스의 순서도. [도 5]는 본 발명에 따른 탐지 빈도 코디네이션 방식의 동일인 재식별 시스템에 대한 구성 블록도. [도 6]은 본 발명에서 동일인 재식별 시스템의 데이터 흐름 예시도. [도 7]은 본 발명에서 Re-ID 데이터베이스(460)가 저장하는 데이터 테이블의 주요 스키마 예시도. [도 8]은 본 발명에서 시간적 경향성을 이용하여 코디네이션하는 실시예를 구현한 컴퓨터 프로그램 코드의 예시도. [도 9]는 본 발명에서 객체 탐지 확률 테이블의 예시도. [도 10]은 본 발명에서 평균 노출시간을 이용하여 코디네이션하는 실시예를 구현한 컴퓨터 프로그램 코드의 예시도. [도 11]은 본 발명에서 시간적 경향성과 평균 노출시간을 혼합하여 코디네이션하는 실시예를 구현한 컴퓨터 프로그램 코드의 예시도. [도 12]는 본 발명에서 동일인 재식별 사용자 인터페이스의 예시도. [도 13]은 본 발명에서 동일인 재식별 사용자 인터페이스의 예시도. [도 14]는 본 발명에서 동일인 재식별 시뮬레이션 결과 예시도. 이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다. 본 발명을 설명함에 있어서 종래기술과 중복되는 부분에 대해서는 자세한 설명을 생략할 수 있다. [도 3]은 본 발명에 따른 동일인 재식별 기술을 채택한 영상관제 시스템의 전체 구성도이다. [도 3]을 참조하면, 영상관제 시스템은 다수의 CCTV 카메라(10), 복수의 클라이언트 장치(50), 영상관제 장치(100), 스토리지 장치(200), Re-ID 시스템(400)를 포함하여 구성된다. CCTV 카메라(10)는 여러 지점에 분산 설치되어 해당 지점에 대한 촬영 영상을 영상관제 시스템으로 제공한다. 영상관제 장치(100)는 CCTV 영상을 관제사에게 모니터링 제공하고, 스토리지 장치(200)는 CCTV 영상을 임시 혹은 장기간 저장한다. 관제사는 클라이언트 장치(50)에서 CCTV 영상을 확인하고 영상관제를 위한 각종 조작을 수행한다. Re-ID 시스템(400)은 CCTV 카메라(10)가 촬영하는 CCTV 영상 또는 스토리지 장치(200)에 저장된 CCTV 영상에 대해 동일인 재식별을 수행한다. 관제사는 클라이언트 장치(50)의 화면을 통해 동일인 재식별을 위한 사용자 조작을 수행하고 Re-ID 시스템(400)로부터 그 결과를 제공받아 화면으로 확인할 수 있다. [도 4]는 본 발명에서 동일인 재식별 프로세스의 순서도이다. Re-ID 시스템(400)은 다수의 CCTV 카메라(10)가 촬영한 영상으로부터 휴먼객체(사람)를 탐지하고 이에 대한 Re-ID 특징정보(Re-ID Feature)를 데이터베이스 저장한다(S110). 실종 사건이 발생한 경우, 해당 사건이 발생한 시간과 장소에 관련된 모든 휴먼객체 이미지를 데이터베이스로부터 가져와서 사용자(관제사)에게 보여주고(S120), 사용자가 그들 중에 관심 대상자를 선택하면(S130), 관심 대상자와 동일한 인물을 Re-ID 특징정보 기반으로 데이터베이스로부터 찾아(S140) 위치와 이동 경로를 지도상에 표시한다(S150). 이를 위해, Re-ID 시스템(400)은 CCTV에 촬영된 사람을 기반으로 영상을 매 초마다 지정된 카메라로부터 이미지 프레임을 가져와 사람을 탐지하고 그 사람의 썸네일(thumbnail)을 저장하고 그 썸네일에 대한 Re-ID 특징정보를 추출하여 데이터베이스 저장한다. 그래서 추후에 실종자의 사진을 기반으로 동일 인물을 여러 CCTV 영상에서 찾을 때에, 데이터베이스에 저장되어 있는 다수의 Re-ID 특징정보들과 거리(벡터 거리)를 비교하여 관심 대상자일 확률이 높은 후보 객체들을 추출한다. 그리고, 이들 후보 객체들을 사용자에게 제시하고, 사용자가 이에 대해 확인 체크하면 해당 인물을 다시 필터링하고 CCTV 카메라에 촬영된 시간 순으로 배열하여 관심 대상자의 위치 이동을 추적한다. [도 5]는 본 발명에 따른 탐지 빈도 코디네이션 방식의 동일인 재식별 시스템에 대한 구성 블록도이고, [도 6]은 본 발명에서 동일인 재식별 시스템의 데이터 흐름 예시도이다. 본 발명에 따른 동일인 재식별 시스템은 영상관제 시스템에서 다수의 CCTV 카메라(10)로부터 수집되는 다수의 CCTV 영상에 대해 휴먼객체에 대한 Re-ID 데이터베이스(460)를 구축하고 동일인 재식별 서비스를 제공한다. CCTV 영상은 VMS 장치(300)로부터 제공되는 것으로 가정한다. VMS 장치(300)는 개별 CCTV 카메라(10)에 RTSP(Real-time Streaming Protocol)로 접속하여 촬영 영상을 가져오고, 그 가져온 CCTV 영상을 스토리지 장치(200)에 저장하며 Re-ID 시스템(400)에 스트리밍 제공한다. [도 5]를 참조하면, Re-ID 시스템(400)은 영상 추출기(410), 프레임 추출기(420), 메세지 큐 부재(430), 휴먼 검출기(440), Re-ID 추출기(450), Re-ID 데이터베이스(460), Re-ID 처리부(470), 코디네이터부(480)를 구비한다. [도 5]에는 이들 구성요소(410 ~ 480)가 하나의 장치(400)