Search

KR-20260061738-A - DEVICE AND SYSTEM FOR TRACKING OBJECT

KR20260061738AKR 20260061738 AKR20260061738 AKR 20260061738AKR-20260061738-A

Abstract

본 발명은 카메라 기반 객체 추적 기술에서 안전에 중요한 영역을 우선적으로 추적함으로써 차량의 사고 위험을 크게 감소시킬 수 있는 객체 추적 장치 및 시스템에 관한 것이다. 상기 객체 추적 장치는, 차량(Car)과 연동된 객체 추적 장치에 있어서, 적어도 하나의 촬영 데이터를 수신하는 데이터 수집 모듈, 상기 촬영 데이터에서 객체(Object)를 탐지함으로써 객체 탐지 결과를 생성하는 탐지 모듈, 상기 객체 탐지 결과에 포함된 상기 객체와, 상기 촬영 데이터에 비하여 시계열적으로 선순위인 이전 촬영 데이터에 대하여 기 생성된 이전 추적 결과에 포함된 객체 간의 연관성을 판단하여 연관 결과를 생성하는 연관 모듈 및 상기 연관 결과에 기초하여 상기 객체 탐지 결과에 포함된 상기 객체에 관련한 추적 결과를 생성하는 추적 모듈을 포함할 수 있다.

Inventors

  • 백형부

Assignees

  • 서울시립대학교 산학협력단

Dates

Publication Date
20260506
Application Date
20241028

Claims (10)

  1. 차량(Car)과 연동된 객체 추적 장치에 있어서, 적어도 하나의 촬영 데이터를 수신하는 데이터 수집 모듈; 상기 촬영 데이터에서 객체(Object)를 탐지함으로써 객체 탐지 결과를 생성하는 탐지 모듈; 상기 객체 탐지 결과에 포함된 상기 객체와, 상기 촬영 데이터에 비하여 시계열적으로 선순위인 이전 촬영 데이터에 대하여 기 생성된 이전 추적 결과에 포함된 객체 간의 연관성을 판단하여 연관 결과를 생성하는 연관 모듈; 및 상기 연관 결과에 기초하여 상기 객체 탐지 결과에 포함된 상기 객체에 관련한 추적 결과를 생성하는 추적 모듈을 포함하는 객체 추적 장치.
  2. 제1 항에 있어서, 상기 데이터 수집 모듈은, 상기 차량에 포함된 복수의 카메라로부터 상기 적어도 하나의 촬영 데이터를 수신하는 객체 추적 장치.
  3. 제2 항에 있어서, 상기 탐지 모듈은, 상기 촬영 데이터에서 중요 영역을 식별하는 식별부와, 상기 촬영 데이터 및 상기 중요 영역에 기초하여 상기 촬영 데이터에 포함된 상기 객체를 탐지하여 상기 객체 탐지 결과를 생성하는 탐지부를 포함하는 객체 추적 장치.
  4. 제3 항에 있어서, 상기 데이터 수집 모듈은, 라이다(LiDAR) 데이터 및 IMU(Inertial Measurement Unit) 데이터 중 적어도 하나를 포함하는 센싱 데이터를 더 수신하고, 상기 식별부는, 상기 센싱 데이터에 기초하여 상기 중요 영역을 식별하는 객체 추적 장치.
  5. 제4 항에 있어서, 상기 식별부는, 상기 센싱 데이터에 기초하여 상기 차량과 미리 정의된 거리 범위 내에 존재하는 대상들의 충돌 예상 시간을 계산하고, 상기 촬영 데이터에서 상기 계산된 충돌 예상 시간이 미리 정의된 임계 시간 이하인 대상이 포함된 영역을 상기 중요 영역으로 식별하는 객체 추적 장치.
  6. 제3 항에 있어서, 상기 탐지부는, 상기 중요 영역을 기초로 상기 촬영 데이터에서 관심 영역(Region of Interest)을 결정하고, 상기 촬영 데이터에서 상기 관심 영역을 크롭(Crop)한 크롭 데이터를 생성하고, 상기 촬영 데이터 또는 상기 크롭 데이터를 미리 학습된 탐지 모델에 입력함으로써 상기 객체 탐지 결과를 생성하는 객체 추적 장치.
  7. 제6 항에 있어서, 상기 탐지부는, 상기 크롭 데이터를 상기 탐지 모델에 입력하는 경우, 상기 크롭 데이터를 상기 탐지 모델에 입력함으로써 상기 관심 영역에 존재하는 관심 객체를 탐지하고, 상기 이전 추적 결과를 칼만 필터(Kalman Filter)에 입력함으로써 상기 촬영 데이터에서 상기 관심 영역을 제외한 기타 영역에 존재하는 기타 객체를 탐지하고, 상기 관심 객체 및 상기 기타 객체를 상기 객체 탐지 결과로 결정하는 객체 추적 장치.
  8. 제7 항에 있어서, 상기 연관 모듈은, 상기 객체 탐지 결과에 포함된 객체와 상기 이전 추적 결과에 포함된 객체 간의 매칭(Matching)을 수행함으로써 상기 연관 결과를 생성하는 객체 추적 장치.
  9. 제8 항에 있어서, 상기 연관 모듈은, 미리 학습된 추출 모델을 이용하여 상기 객체 탐지 결과에 포함된 상기 객체와 이전 추적 결과에 포함된 객체 각각으로부터 미리 정의된 특징(Feature)을 추출하고, 상기 객체 탐지 결과에 포함된 상기 객체와 이전 추적 결과에 포함된 객체 간의 상기 특징 및 위치 정보 중 적어도 하나를 비교함으로써 상기 매칭을 수행하는 객체 추적 장치.
  10. 제9 항에 있어서, 상기 연관 모듈은, 상기 관심 객체를 매칭하는 경우, 상기 객체 탐지 결과 및 상기 이전 추적 결과 각각에서의 상기 관심 객체의 특징을 비교함으로써 상기 매칭을 수행하고, 상기 기타 객체를 매칭하는 경우, 상기 객체 탐지 결과 및 상기 이전 추적 결과 각각에서의 상기 기타 객체의 위치 정보를 비교함으로써 상기 매칭을 수행하는 객체 추적 장치.

Description

객체 추적 장치 및 시스템{DEVICE AND SYSTEM FOR TRACKING OBJECT} 본 발명은 객체 추적 장치 및 시스템에 관한 것이다. 보다 상세하게, 본 발명은 카메라 기반 객체 추적 기술에서 안전에 중요한 영역을 우선적으로 추적함으로써 차량의 사고 위험을 크게 감소시킬 수 있는 객체 추적 장치 및 시스템에 관한 것이다. 이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다. 자율주행차(Automate Vehicle)는 라이다(LiDAR) 센서와 카메라(Camera) 센서를 이용하여 감지, 의사결정, 행동을 반복 수행한다. 특히, 다중 객체 추적(Multi-Object Tracking. MOT) 시스템은 감지 단계에서 보행자나 차량을 추적하여 상황 인식을 개선한다. 최근, 관련 기술분야의 일부 제조업체는 라이다 센서 대신 여러개의 카메라만을 사용하는 것을 목표로 하고 있어, 다중 카메라 기반 다중 객체 추적(MOT)에 관한 연구가 활발하다. 이러한 다중 객체 추적에서는, 제한된 자원(연산 시간, 연산 속도, 연산량 등) 내에서 중요도가 다른 영역과 변화하는 위치를 처리해야 할 필요성이 있다. 다만, 기존의 일반적인 기술의 경우 카메라로부터 촬영된 촬영 데이터에 포함된 각 객체를 추적하는 것에만 집중할 뿐, 차량의 안전에 우선적으로 고려해야 하는 객체를 집중적으로 추적하는 기술에 대하여는 연구개발이 부족한 상황이다. 이에 따라, 자율주행 차량에 있어서 안전에 중요한 영역을 우선적으로 추적, 감시할 수 있는 다중 객체 추적 기술에 관한 니즈가 충분히 존재하고 있다. 도 1은 본 발명의 몇몇 실시예에 따른 객체 추적 시스템을 도시한 것이다. 도 2는 본 발명의 몇몇 실시예에 따른 차량의 블록도이다. 도 3은 본 발명의 몇몇 실시예에 따른 객체 추적 장치가 이용하는 객체 추적 모델의 뉴럴 네트워크 구조를 설명하기 위한 도면이다. 도 4는 본 발명의 몇몇 실시예에 따른 객체 추적 장치의 블록도이다. 도 5는 본 발명의 몇몇 실시예에 따른 객체 추적 장치의 동작을 설명하기 위한 도면이다. 도 6은 본 발명의 몇몇 실시예에 따른 탐지 모듈의 세부 블록도이다. 도 7은 본 발명의 몇몇 실시예에 따른 객체 추적 장치의 하드웨어 구현을 설명하기 위한 도면이다. 본 명세서 및 특허청구범위에서 사용된 용어나 단어는 일반적이거나 사전적인 의미로 한정하여 해석되어서는 아니된다. 발명자가 그 자신의 발명을 최선의 방법으로 설명하기 위해 용어나 단어의 개념을 정의할 수 있다는 원칙에 따라, 본 발명의 기술적 사상과 부합하는 의미와 개념으로 해석되어야 한다. 또한, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명이 실현되는 하나의 실시예에 불과하고, 본 발명의 기술적 사상을 전부 대변하는 것이 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 및 응용 가능한 예들이 있을 수 있음을 이해하여야 한다. 본 명세서 및 특허청구범위에서 사용된 제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. '및/또는' 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. 본 명세서 및 특허청구범위에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해서 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 또한, 본 발명의 각 실시예에 포함된 각 구성, 과정, 공정 또는 방법 등은 기술적으로 상호 간 모순되지 않는 범위 내에서 공유될 수 있다. 이하에서 도 1 내지 도 7을 참조하여 본 발명의 실시예에 따른 객체 추적 장치 및 시스템에 대해 설명하기로 한다. 도 1은 본 발명의 몇몇 실시예에 따른 객체 추적 시스템을 도시한 것이다. 도 1을 참조하면, 본 발명의 몇몇 실시예에 따른 객체 추적 시스템(1)은, 차량(100), 객체 추적 장치(200, 이하 “장치”라 한다) 및 통신망(300)을 포함할 수 있다. 차량(100)은 차량 데이터를 생성하고, 차량(100)주변의 객체(Object)의 추적을 위해 생성된 차량 데이터를 장치(200)로 전송할 수 있다. 이때, 차량(100)은 자율주행 차량을 포함할 수 있으나, 본 발명의 실시예가 이에 제한되는 것은 아니다. 몇몇 예로, 차량(100)은 카메라, 센서 등을 포함할 수 있고, 카메라, 센서 각각을 통해 생성된 촬영 데이터와 센싱 데이터를 장치(200)로 전송할 수 있다. 이하, 도 2를 참조하여 본 발명의 몇몇 실시예에 따른 차량(100)에 대해 더 자세히 설명하기로 한다. 도 2는 본 발명의 몇몇 실시예에 따른 차량의 블록도이다. 도 1 및 도 2를 참조하면, 본 발명의 몇몇 실시예에 따른 차량(100)은 카메라(110)와 센서(120)를 포함할 수 있다. 카메라(110)는 차량(100)의 주변을 촬영함으로써 촬영 데이터(Camera Data, 이하 “CD”라 한다)를 생성할 수 있다. 이때, 촬영 데이터(CD)는 카메라(110)에 의해 차량(100)의 주변 영역을 촬영한 데이터일 수 있다. 몇몇 예로, 카메라(110)는 복수의 카메라를 포함할 수 있다. 다시 말하면, 본 발명의 몇몇 실시예에 따른 차량(100)은 다중 카메라 시스템을 포함할 수 있다. 이때, 카메라(110)에 포함된 복수의 카메라는 촬영 각도, 촬영 영역이 서로 상이하거나 또는 촬영 주기(Frame Per Second, FPS)가 서로 상이할 수 있다. 센서(120)는 차량(100)과 관련한 센싱 데이터(Sensing Data, 이하 “SD”라 한다)를 생성할 수 있다. 몇몇 예로, 센서(120)는 라이다(LiDAR) 센서, 레이더(Radar) 센서, IMU(Inertial Measurement Unit) 센서, 초음파 센서, GPS(Global Positioning System) 센서 등을 포함할 수 있다. 다시 말하면, 센싱 데이터(SD)는 라이다 센서, 레이더 센서, IMU 센서, 초음파 센서 각각으로부터 센싱된 라이다 데이터, 레이더 데이터, IMU 데이터, 초음파 데이터, GPS 데이터 등을 포함할 수 있다. 다시 도 1을 참조하면, 한편, 차량(100)은 전술한 촬영 데이터, 센싱 데이터 등을 저장, 관리, 전송할 수 있는 차량 데이터베이스를 포함할 수 있고, 이러한 차량 데이터베이스는 컴퓨터, 노트북 PC, 모바일 기기, 웨어러블 기기 등의 다양한 형태의 전자 기기, 워크스테이션(workstation), 데이터 센터, 인터넷 데이터 센터(internet data center(IDC)), DAS(direct attached storage) 시스템, SAN(storage area network) 시스템, NAS(network attached storage) 시스템 및 RAID(redundant array of inexpensive disks, or redundant array of independent disks) 시스템 등의 형태일 수 있으나, 본 발명의 실시예가 이에 제한되는 것은 아니다. 이때, 차량 데이터베이스는 촬영 데이터, 센싱 데이터 등을 장치(200)로 전송할 수 있다. 장치(200)는 차량(100)로부터 차량 데이터를 수신한 후, 차량 데이터에 기초하여 추적 결과를 생성할 수 있다. 몇몇 예로, 장치(200)는 차량 데이터에 따라 차량(100)의 주변에 존재하는 객체를 탐지하고, 복수의 촬영 데이터로부터 탐지된 객체를 매칭함으로써 연관 결과를 생성하고, 생성된 연관 결과에 기초하여 추적 결과를 생성할 수 있다. 이에 대한 자세한 설명은 후술하기로 한다. 이때, 장치(200)는 AI(Artificial Intelligence) 기술에 기반한 객체 추적 모델을 이용하여 추적 결과를 생성할 수 있다. 일 예로, 장치(200)는 딥러닝 방식 및 구조를 포함하는 객체 추적 모델을 이용하여 추적 결과를 생성할 수 있다. 예컨대, 장치(200)가 이용하는 객체 추적 모델은 미리 학습된 뉴럴 네트워크(Neural Network) 구조를 이용하여 객체를 탐지함으로써 객체 탐지 결과를 생성하고, 탐지된 객체에 대한 특징(Feature)을 추출하여 비교함으로써 추적 결과를 생성할 수 있다. 보다 자세히 설명하자면, 머신 러닝의 일종인 딥러닝(Deep Learning) 기술은 데이터를 기반으로 다단계로 깊은 수준까지 내려가 학습하는 것이다. 즉, 딥러닝은, 단계를 높여가면서 복수의 데이터들 로부터 핵심적인 데이터를 추출하는 머신 러닝 알고리즘의 집합을 나타낸다. 몇몇 예로, 뉴럴 네트워크는 공지된 다양한 딥러닝 구조를 이용할 수 있다. 예를 들어, 뉴럴 네트워크는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DBN(Deep Belief Network), GNN(Graph Neural Network), GAN (Generative Adversarial Network), Transformer, Auto