Search

KR-20260061643-A - System for detecting crime based on CCTV and method thereof

KR20260061643AKR 20260061643 AKR20260061643 AKR 20260061643AKR-20260061643-A

Abstract

본 발명은 CCTV 기반 범죄 감지 시스템 및 그 방법에 관한 것이다. 본 발명에 따르면 CCTV 기반 범죄 감지 시스템에 있어서, 적어도 하나의 각도에서 촬영한 무인점포에서 판매하는 상품의 이미지와 상품명과 무인점포 내 고객의 절도 또는 파손에 해당하는 포즈에 대한 골격정보를 저장하고, 무인점포에 배치된 상품별 수량을 실시간으로 업데이트하여 저장하는 데이터베이스; 무인점포 내 위치한 CCTV를 통해 촬영한 영상과 셀프 계산대로부터 결제내역을 실시간으로 입력받는 입력부; 입력된 영상을 기 학습된 상품 인식 모델에 적용하여 상품이 기 지정된 영역을 벗어난 경우 해당 상품의 상품명과 수량을 인식하는 상품 인식부; 입력된 상기 영상을 기 학습된 골격 추출 모델에 적용하여 무인점포 내 적어도 한 고객의 포즈에 대한 골격정보를 추출하고 추적 정보를 생성하는 고객 인식부; 및 생성된 상기 추적 정보를 기 학습된 행동 분석 모델에 적용하여 고객의 행동을 정상, 절도 및 파손 중 어느 하나로 분류하는 행동 분석부를 포함할 수 있다.

Inventors

  • 임재환
  • 조성주

Assignees

  • 임재환
  • 조성주

Dates

Publication Date
20260506
Application Date
20241028

Claims (12)

  1. 적어도 하나의 각도에서 촬영한 무인점포에서 판매하는 상품의 이미지와 상품명과 상기 무인점포 내 고객의 절도 또는 파손에 해당하는 복수의 포즈에 대한 골격정보를 저장하고, 상기 무인점포에 배치된 상품별 수량을 실시간으로 업데이트하여 저장하는 데이터베이스; 상기 무인점포 내 위치한 CCTV를 통해 촬영한 영상과 셀프 계산대로부터 결제내역을 실시간으로 입력받는 입력부; 입력된 상기 영상을 기 학습된 상품 인식 모델에 적용하여 상품이 기 지정된 영역을 벗어난 경우 해당 상품의 상품명과 수량을 인식하는 상품 인식부; 입력된 상기 영상을 기 학습된 골격 추출 모델에 적용하여 상기 무인점포 내 적어도 한 고객의 포즈에 대한 골격정보를 추출하고 추적 정보를 생성하는 고객 인식부; 및 생성된 상기 추적 정보를 기 학습된 행동 분석 모델에 적용하여 고객의 행동을 정상, 절도 및 파손 중 어느 하나로 분류하는 행동 분석부를 포함하는 CCTV 기반 범죄 감지 시스템.
  2. 제1항에 있어서, 상기 절도 또는 파손 행위가 감지되면 상기 무인점포 내 제어 장치에 '자동 잠금' 또는 '경고등 점등 및 알람' 기능을 활성화하도록 제어 신호를 전송하는 통신부를 더 포함하는 CCTV 기반 범죄 감지 시스템.
  3. 제1항에 있어서, 상기 행동 분석부는, 생성된 상기 추적 정보를 기 학습된 행동 분석 모델에 적용하여 고객의 행동을 정상, 절도 및 파손 중 어느 하나로 분류하고, 절도 또는 파손 행위가 감지되면 절도 또는 파손이 발생한 시점을 기준으로 기 설정된 시간 동안의 영상을 기 지정된 양식으로 상기 데이터베이스에 저장하는 CCTV 기반 범죄 감지 시스템.
  4. 제1항에 있어서, 상기 데이터베이스는, 사용자로부터 상기 무인점포에 물류가 정리된 이후 상기 무인점포에 비치된 상품명과 수량을 각각 입력받아 저장하고, 상기 무인점포 내 셀프 계산대로부터 판매된 상품에 대해 판매된 수량을 차감하여 상품별 수량을 실시간으로 업데이트하며 저장하는 CCTV 기반 범죄 감지 시스템.
  5. 제1항에 있어서, 상기 행동 분석부는, 생성된 추적 정보를 기 학습된 행동 분석 모델에 적용하여 단위 시간마다 고객의 포즈에 대한 골격정보를 기초로 단위 행동을 분류하고 이를 종합하여 고객의 행동을 정상, 절도 및 파손 중 어느 하나로 판단하는 CCTV 기반 범죄 감지 시스템.
  6. 제5항에 있어서, 상기 행동 분석부는, 고객이 입장한 순간일 때 가중치를 초기 가중치로 부여하고, 시간이 지날수록 가중치를 기 설정된 값 만큼씩 증가하여 복수의 분류 결과에 적용하여 고객의 행동을 정상, 절도 및 파손 중 어느 하나로 판단하는 CCTV 기반 범죄 감지 시스템.
  7. 데이터베이스가 적어도 하나의 각도에서 촬영한 무인점포에서 판매하는 상품의 이미지와 상품명과 상기 무인점포 내 고객의 절도 또는 파손에 해당하는 복수의 포즈에 대한 골격정보를 저장하고, 상기 무인점포에 배치된 상품별 수량을 실시간으로 업데이트하여 저장하는 단계; 입력부가 상기 무인점포 내 위치한 CCTV를 통해 촬영한 영상과 셀프 계산대로부터 결제내역을 실시간으로 입력받는 단계; 상품 인식부가 입력된 상기 영상을 기 학습된 상품 인식 모델에 적용하여 상품이 기 지정된 영역을 벗어난 경우 해당 상품의 상품명과 수량을 인식하는 단계; 고객 인식부가 입력된 상기 영상을 기 학습된 골격 추출 모델에 적용하여 상기 무인점포 내 적어도 한 고객의 포즈에 대한 골격정보를 추출하고 추적 정보를 생성하는 단계; 및 행동 분석부가 생성된 상기 추적 정보를 기 학습된 행동 분석 모델에 적용하여 고객의 행동을 정상, 절도 및 파손 중 어느 하나로 분류하는 단계를 포함하는 CCTV 기반 범죄 감지 방법.
  8. 제7항에 있어서, 통신부가 상기 절도 또는 파손 행위가 감지되면 상기 무인점포 내 제어 장치에 '자동 잠금' 또는 '경고등 점등 및 알람' 기능을 활성화하도록 제어 신호를 전송하는 단계를 더 포함하는 CCTV 기반 범죄 감지 방법.
  9. 제7항에 있어서, 상기 분류하는 단계는, 생성된 상기 추적 정보를 기 학습된 행동 분석 모델에 적용하여 고객의 행동을 정상, 절도 및 파손 중 어느 하나로 분류하고, 절도 또는 파손 행위가 감지되면 절도 또는 파손이 발생한 시점을 기준으로 기 설정된 시간 동안의 영상을 기 지정된 양식으로 상기 데이터베이스에 저장하는 CCTV 기반 범죄 감지 방법.
  10. 제7항에 있어서, 상기 저장하는 단계는, 사용자로부터 상기 무인점포에 물류가 정리된 이후 상기 무인점포에 비치된 상품명과 수량을 각각 입력받아 저장하고, 상기 무인점포 내 셀프 계산대로부터 판매된 상품에 대해 판매된 수량을 차감하여 상품별 수량을 실시간으로 업데이트하며 저장하는 CCTV 기반 범죄 감지 방법.
  11. 제7항에 있어서, 상기 분류하는 단계는, 생성된 추적 정보를 기 학습된 행동 분석 모델에 적용하여 단위 시간마다 고객의 포즈에 대한 골격정보를 기초로 단위 행동을 분류하고 이를 종합하여 고객의 행동을 정상, 절도 및 파손 중 어느 하나로 판단하는 CCTV 기반 범죄 감지 방법.
  12. 제11항에 있어서, 상기 분류하는 단계는, 고객이 입장한 순간일 때 가중치를 초기 가중치로 부여하고, 시간이 지날수록 가중치를 기 설정된 값 만큼씩 증가하여 복수의 분류 결과에 적용하여 고객의 행동을 정상, 절도 및 파손 중 어느 하나로 판단하는 CCTV 기반 범죄 감지 방법.

Description

CCTV 기반 범죄 감지 시스템 및 그 방법{System for detecting crime based on CCTV and method thereof} 본 발명은 CCTV 기반 범죄 감지 시스템 및 그 방법에 관한 것으로서, 더욱 상세하게 설명하면 무인점포 내부에 위치한 CCTV를 통해 촬영된 영상을 기초로 무인점포에서 발생하는 범죄 행위를 검출하는 CCTV 기반 범죄 감지 시스템 및 그 방법에 관한 것이다. 2021년 무인점포 절도 사건 발생 건수는 총 3514건에서 2022년 6018건으로 급속하게 증가하고 있다. 특히, 무인점포 절도 사건의 대응을 위하여 많은 경찰 인력이 소모되는 만큼 경찰 인력의 피로감 또한 증가하고 있으며 다른 주요 사건의 진행이 더뎌지는 등 사회적 비용이 증가하고 있다. 또한, 무인점포의 점주들의 경우 무인점포에서 발생하는 범죄에 대한 불안감으로 수시로 CCTV를 보거나 절도 등의 범죄 발생 시 긴 시간의 CCTV 영상을 돌려봐야 하는 등 문제점이 있다. 따라서, 무인점포 내부에 위치한 CCTV를 통해 촬영된 영상에서 절도 및 파손 등의 범죄를 감지하는 기술이 필요한 실정이다. 본 발명의 배경이 되는 기술은 대한민국공개특허 제10-2021-0117760호(2021.09.29. 공개)에 기재되어 있다. 도 1은 본 발명의 일 실시예에 따른 무인점포 내부의 일 예를 도시하는 도면이다. 도 2는 본 발명의 일 실시예에 따른 CCTV 기반 범죄 감지 시스템의 구성도이다. 도 3은 본 발명의 다른 실시예에 따른 CCTV 기반 범죄 감지 방법의 순서도이다. 도 4는 본 발명의 다른 실시예에 따른 상품을 인식하는 일 예를 도시하는 도면이다. 도 5는 본 발명의 다른 실시예에 따른 고객의 골격정보를 추출하는 일 예를 도시하는 예시도이다. 도 6은 본 발명의 다른 실시예에 따른 행동 분석 모델을 설명하기 위한 예시도이다. 도 7은 본 발명의 다른 실시예에 따른 고객이 파손을 저지른 일 예를 도시하는 도면이다. 이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 후술하는 실시예에서 CCTV 기반 범죄 감지 시스템(100)은 무인점포 내부에 위치한 CCTV(1), 셀프 계산대 및 제어 장치와 유선 또는 무선으로 통신을 수행하여 실시간으로 CCTV(1)를 통해 촬영된 영상 및 셀프 계산대(2)로부터 결제 내역을 입력받는 것으로 구체적인 예를 들어 설명한다. 도 1은 본 발명의 일 실시예에 따른 무인점포 내부의 일 예를 도시하는 도면이다. 도 1에 도시된 바와 같이, 무인점포는 적어도 하나의 CCTV(1)를 통해 내부가 촬영되고 있고, 셀프 계산대(2) 및 제어 장치(미도시)를 포함하고, 상품들이 배치되어 있을 수 있다. 도 2는 본 발명의 일 실시예에 따른 CCTV 기반 범죄 감지 시스템의 구성도이다. 도 2에 도시된 바와 같이, CCTV 기반 범죄 감지 시스템(100)은 데이터베이스(110), 입력부(120), 상품 인식부(130), 고객 인식부(140), 행동 분석부(150) 및 통신부(160)를 포함할 수 있다. 먼저, 데이터베이스(110)는 적어도 하나의 각도에서 촬영한 무인점포에서 판매하는 상품의 이미지와 상품명과 무인점포 내 고객의 절도 또는 파손에 해당하는 복수의 포즈에 대한 골격정보를 저장하고, 무인점포에 배치된 상품별 수량을 실시간으로 업데이트하여 저장할 수 있다. 구체적으로, 데이터베이스(110)는 무인점포에서 판매하는 상품에 대해 적어도 하나의 각도에서 촬영한 상품의 이미지를 저장할 수 있다. 또한, 데이터베이스(110)는 무인점포 내 절도 또는 파손에 해당하는 복수의 포즈에 대한 고객의 골격정보를 저장할 수 있다. 또한, 데이터베이스(110)는 사용자로부터 무인점포에 물류가 정리된 이후 무인점포에 비치된 상품명과 수량을 각각 입력받아 저장하고, 무인점포 내 셀프 계산대(2)로부터 판매된 상품에 대해 판매된 수량을 차감하여 상품별 수량을 실시간으로 업데이트하며 저장할 수 있다. 다음으로, 입력부(120)는 무인점포 내 위치한 CCTV(1)를 통해 촬영한 영상과 셀프 계산대(2)로부터 결제내역을 실시간으로 입력받을 수 있다. 다음으로, 상품 인식부(130)는 입력된 영상을 기 학습된 상품 인식 모델에 적용하여 상품이 기 지정된 영역(예를 들어, 선반, 아이스크림 냉동고, 냉장고 등)을 벗어난 경우 해당 상품의 상품명과 수량을 인식할 수 있다. 이때, 상품 인식 모델은 딥러닝 기반의 객체 탐지 모델을 이용하여 구축된 것으로, 무인점포 내부를 촬영한 영상과 각 상품의 위치, 크기 및 상품명, 고객이 상품을 집어 드는 장면, 고객이 상품을 카트에 넣는 장면 및 고객에 셀프 계산대(2)에 상품을 가져가는 장면을 학습 데이터로 하여, 무인점포 내부를 촬영한 영상을 입력받으면 각 상품의 위치, 크기, 상품명을 인식하여 각 상품에 고유한 아이디(ID)를 부여하고 고객이 상품을 집어 드는 순간, 카트에 넣는 순간, 결제대에 상품을 가져가는 순간을 이벤트로 기록하도록 학습되었다. 구체적으로, 상품 인식부(130)는 입력된 영상을 기 학습된 상품 인식 모델에 적용하여 적어도 한 명의 고객이 상품을 집어 드는 순간, 카트에 넣는 순간 및 결제대에 상품을 가져가든 순간을 고객별로 이벤트로 기록하여 기 지정된 영역(예를 들어, 선반, 아이스크림 냉동고, 냉장고)을 벗어난 상품명과 수량을 인식할 수 있다. 다음으로, 고객 인식부(140)는 입력된 영상을 기 학습된 골격 추출 모델에 적용하여 무인점포 내 적어도 한 고객의 포즈에 대한 골격정보를 추출하고 추적 정보를 생성할 수 있다. 여기서, 골격 추출 모델은 CCTV(1)를 통해 적어도 한 고객을 촬영한 영상과 해당 영상에서의 각 고객의 포즈(정상, 절도 및 파손)에 대한 골격 정보를 학습 데이터로 하고, CCTV(1)를 통해 적어도 한 고객을 촬영한 영상을 입력받으면 기 설정된 시간(예를 들면, 5초 내지 10초)마다 영상을 다운사이징하여 한 화면 사이즈로 처리하고, 각 고객의 포즈에 대한 골격정보를 추출하며, 추출된 골격정보를 추적하여 추적 정보를 생성할 수 있다. 구체적으로, 고객 인식부(140)는 입력된 영상을 기 학습된 골격 추출 모델에 적용하여 무인점포 내 적어도 한 고객이 입장한 순간부터 퇴장하는 순간까지 기 설정된 시간(예를 들면, 5초 내지 10초)마다 각 고객의 포즈에 대한 골격정보를 추출하고 이를 추적하여 추적 정보를 각각 생성할 수 있다. 다음으로, 행동 분석부(150)는 생성된 추적 정보를 기 학습된 행동 분석 모델에 적용하여 고객의 행동을 정상, 절도 및 파손 중 어느 하나로 분류할 수 있다. 구체적으로, 행동 분석부(150)는 생성된 추적 정보를 기 학습된 행동 분석 모델에 적용하여 고객의 행동을 정상, 절도 및 파손 중 어느 하나로 분류하고, 절도 또는 파손 행위가 감지되면 절도 또는 파손이 발생한 시점을 기준으로 전후 기 설정된 시간(예를 들어, 1분) 동안의 영상을 기 지정된 양식(예를 들어, 절도_20241001_175031)으로 데이터베이스(110)에 저장할 수 있다. 이때, 행동 분석 모델은 복수의 고객에 대한 골격정보를 추적하여 생성된 추적 정보와 데이터베이스(110)에 저장된 무인점포 내 절도 또는 파손에 해당하는 복수의 포즈에 대한 고객의 골격정보를 학습 데이터로 하여 추적 정보를 입력받으면, 추적 정보에서 단위 시간마다 고객의 포즈에 대한 골격정보를 기초로 단위 행동을 분류하고 이를 종합하여 고객의 행동을 정상, 절도 및 파손 중 어느 하나로 판단하도록 학습된 모델일 수 있다. 다시 말해, 행동 분석부(150)는 생성된 추적 정보를 기 학습된 행동 분석 모델에 적용하여 단위 시간 마다 고객의 포즈에 대한 골격정보를 기초로 단위 행동을 복수 회 분류하고, 복수의 분류 결과를 종합하여 고객의 행동을 정상, 절도 및 파손 중 어느 하나로 판단할 수 있다. 이때, 행동 분석부(150)는 해당 고객이 입장한 순간일 때 가중치를 초기 가중치(예를 들어, 0.1)로 부여하고, 시간이 지날수록 가중치를 기 설정된 값(예를 들어, 0.01)만큼씩 증가하여 복수의 분류 결과에 적용하여 고객의 행동을 정상, 절도 및 파손 중 어느 하나로 판단할 수 있다. 다음으로, 통신부(160)는 행동 분석부(150)에서 절도 또는 파손 행위가 감지되면 무인점포 내 제어 장치에 '자동 잠금' 또는 '경고등 점등 및 알람' 기능을 활성화하도록 제어 신호를 전송할 수 있다. 구체적으로, 통신부(160)는 행동 분석부(150)에서 고객의 행동이 절도 또는 파손으로 분류되면, 무인점포 내 제어 장치에 '자동 잠금' 또는 '경고등 점등 및 알람'기능을 활성화하도록 제어 신호를 전송할 수 있다. 이때, '자동 잠금'은 무인점포의 출입문을 자동으로 잠그는 기능이고, '경고등 점등 및 알람'은 무인점포 내 경고등이 점등하여 범죄 행위를 알리고 사용자 디바이스에 알람을 전송하여 절도 또는 파손이 발생함을 알리는 기능이다. 이하에서는 도 3 내지 도 7을 통해 CCTV 기반 범죄 감지 방법에 대해 보다 구체적으로 설명한다. 도 3은 본 발명의 다른 실시예에 따른 CCTV 기반 범죄 감지 방법의 순서도이다. 도 3에 도시된 바와 같이, 데이터베이스(110)는 적어도 하나의 각도에서 촬영한 무인점포에서 판매하는 상품의 이미지와 상품명과 무인점포 내 고객의 절도 또는 파손에 해당하는 복수의 포즈에 대한 골격정보를 저장하고, 무인점포에 배치된 상품별 수량을 실시간으로 업데이트하여 저장할 수 있다(S310). 구체적으로, 데이터베이스(110)는 무인점포에서 판매하는 상품에 대해 적어도 하나의 각도에서 촬영한 상품의 이미지를 저장할 수 있다. 또한, 데이터베이스(110)는 무인점포 내 절도 또는 파손에 해당하는 복수의 포즈에 대한 고객의 골격정보를 저장할 수 있