Search

KR-102961063-B1 - OBJECT RECOGNITION-BASED INTELLIGENCE GLASSES SYSTEM FOR PREVENTING TRAFFIC ACCIDENTS, AND OPERATION METHOD FOR THE SAME

KR102961063B1KR 102961063 B1KR102961063 B1KR 102961063B1KR-102961063-B1

Abstract

차량 운전자의 사각지대에 있는 위험상황이나 졸음운전 등으로 인한 위험운전행동을 주의해야 할 경우, 객체인식-기반 지능형 안경을 통해 차량 운전자의 위험운전행동을 판정하여 운전자에게 음성으로 경고할 수 있으며, 또한, 차량 운전자가 착용할 수 있는 안경에 탑재된 주간영상 또는 야간영상 객체인식을 이용하여 전방의 위험상황을 탐지하고, 이를 차량 운전자에게 음성으로 경고함으로써 운전자 부주의 또는 야간 시인성 부족으로 인해 발생하는 교통사고를 예방할 수 있으며, 또한, 화물차, 버스, 승용차, 승합차 등의 차종별로 과속, 급가속, 급감속, 급차로변경 또는 급회전 등의 차량 운전자 위험운전행동 패턴을 비교 분석하여 위험운전행동 여부를 판정함으로써 차량 운전자에게 경고메시지를 음성으로 즉각적으로 전달할 수 있는, 교통사고 예방을 위한 객체인식-기반 지능형 안경 시스템 및 그 작동 방법이 제공된다.

Inventors

  • 장진환

Assignees

  • 한국건설기술연구원

Dates

Publication Date
20260506
Application Date
20220609

Claims (20)

  1. 교통사고 예방을 위한 지능형 안경 시스템에 있어서, 차량 운전자가 착용하는 지능형 안경(110)에 탑재되고, 차량 운전자의 음성명령에 의해 작동되어 음성명령을 텍스트로 변환하는 음성인식 유닛(120); 지능형 안경(110)에 탑재되어 휴대폰(200)과 연동하도록 연결되고, 주간영상 또는 야간영상을 획득하여 객체인식을 수행하고, 운전행동 검지센서의 데이터를 분석하여 졸음이나 주의산만으로 인해 차량 운전자가 위험하게 운전하는 위험운전행동 패턴을 비교 분석하며, 위험운전행동 여부를 판정하여 경고메시지를 생성하는 지능형 안경 제어 유닛(130); 상기 지능형 안경 제어 유닛(130)에서 생성된 경고메시지를 음성으로 변환한 음성 경고음을 발생하여 차량 운전자로 하여금 안전운전을 할 수 있도록 유도하는 음성변환 유닛(150); 및 상기 주간영상과 야간영상을 출력하여 휴대폰(200)에 저장하는 영상 출력 유닛(140)을 포함하되, 상기 지능형 안경 제어 유닛(130)은 화물차, 버스, 승용차 또는 승합차의 차종별로 과속, 급가속, 급감속, 급차로변경 또는 급회전의 차량 운전자 위험운전행동 패턴을 비교 분석하여 위험운전행동 여부를 판정함으로써 차량 운전자에게 경고메시지를 음성으로 전달하며, 상기 휴대폰(200)은 기상정보 제공자(300)로부터 제공되는 기상정보 및 교통정보 제공자(400)로부터 제공되는 교통정보와 연계하며, 상기 지능형 안경 제어 유닛(130)은, 주간영상을 획득하여 객체를 인식하는 주간영상 객체인식 모듈(131); 야간영상을 획득하여 객체를 인식하는 야간영상 객체인식 모듈(132); 상기 휴대폰(200)이 수신하는 주변 도로의 기상정보 및 교통정보를 지능형 안경(110)을 착용한 차량 운전자에게 제공하는 휴대폰 연동 모듈(133); 운전행동 검지센서(134a)로부터 검지된 검지신호에 따라 차량 운전자의 운전행동 패턴을 비교 분석하여 위험운전행동 여부를 판정하는 위험운전행동 판정 모듈(134); 및 상기 위험운전행동 판정 모듈(134)의 판정 결과에 따라 경고메시지를 생성하고, 상기 경고메시지를 차량 운전자에게 음성으로 경고하도록 상기 음성변환 유닛(150)에게 전달하는 경고메시지 발생 모듈(135)을 포함하고, 상기 위험운전행동 판정 모듈(134)은, 상기 지능형 안경(110)에 부착되어 상기 차량 운전자의 운전행동을 검지하는 운전행동 검지센서(134a); 상기 운전행동 검지센서(134a)에서 검지된 센서 데이터에 대응하는 운전행동 패턴을 위험운전행동과 비교 분석하는 데이터 분석부(134b); 차량 운전자의 위험운전행동 패턴을 저장하는 위험운전행동 패턴 DB(134c); 및 상기 데이터 분석부(134b)에서 비교 분석된 운전행동 패턴이 위험운전행동인지 판정하는 위험운전행동 판정부(134d)를 포함하는 교통사고 예방을 위한 객체인식-기반 지능형 안경 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서, 상기 주간영상 객체인식 모듈(131)은 비전 센서(Vision Sensor) 기반으로 주간영상을 획득하여 객체를 인식하고, 상기 야간영상 객체인식 모듈(132)은 적외선 카메라 기반으로 야간영상을 획득하여 객체를 인식하는 것을 특징으로 하는 교통사고 예방을 위한 객체인식-기반 지능형 안경 시스템.
  6. 제5항에 있어서, 상기 객체는 차량 운전자의 주의가 필요한 객체로서 도로의 낙하물, 포트홀, 보행자, 급정거 선행차량 또는 자전거인 것을 특징으로 하는 교통사고 예방을 위한 객체인식-기반 지능형 안경 시스템.
  7. 제1항에 있어서, 상기 주간영상 객체인식 모듈(131) 및 야간영상 객체인식 모듈(132) 각각은 주변환경을 인식하는 알고리즘인 RetinaNet 모델을 사용하여 데이터 셋의 불균형을 해결하며, 상기 RetinaNet 모델은 알고리즘을 통한 학습시 객체인식 알고리즘의 성능 향상을 위해 Focal Loss(FL) 함수를 사용하는 것을 특징으로 하는 교통사고 예방을 위한 객체인식-기반 지능형 안경 시스템.
  8. 삭제
  9. 제1항에 있어서, 상기 운전행동 검지센서(134a)는 G(중력) 센서이거나 자이로 센서로서 상기 지능형 안경(110)에 부착되어 상기 차량 운전자의 운전행동을 검지하는 것을 특징으로 하는 교통사고 예방을 위한 객체인식-기반 지능형 안경 시스템.
  10. 제1항에 있어서, 상기 음성인식 유닛(120)은 장단기 모델(Long Short Term Memory: LSTM) 구조 신경망을 은닉 마르코프 모델(Hidden Markov Model: HMM)과 결합한 LSTM-HMM 하이브리드 구조 기반으로 음성을 인식하는 것을 특징으로 하는 교통사고 예방을 위한 객체인식-기반 지능형 안경 시스템.
  11. 삭제
  12. 제1항에 의한 교통사고 예방을 위한 지능형 안경 시스템의 작동 방법에 있어서, a) 지능형 안경(110)에 탑재된 음성인식 유닛(120)을 통해 음성 명령으로 지능형 안경 시스템(100)을 구동하는 단계; b) 지능형 안경(110)에 탑재된 주간영상 또는 야간영상 객체인식 모듈(131, 132)을 통해 주간영상 또는 야간영상 데이터를 획득하고, 객체인식 알고리즘을 통해 상기 주간영상 또는 야간영상 데이터로부터 객체를 인식하는 단계; c) 지능형 안경(110)에 탑재된 운전행동 검지센서(134a)를 통해 차량 운전자의 운전행동을 검지하는 단계; d) 위험운전행동 판정 모듈(134)을 통해 차량 운전자의 운전행동 패턴을 비교 분석하여 상기 차량 운전자의 운전행동이 위험운전행동인지 여부를 판정하는 단계; e) 상기 위험운전행동 판정 결과에 따라 위험운전행동으로 판정된 경우 경고메시지를 생성하는 단계; 및 f) 차량 운전자의 안전운전을 위해서 음성변환 유닛(150)을 통해 경고메시지를 음성으로 변환한 음성경고음을 발생시키는 단계를 포함하되; 상기 a) 단계를 수행하기 전에 차량 운전자가 지능형 안경(110)을 휴대폰(200)과 연동시키고, 상기 휴대폰(200)과 연계된 주변도로의 기상정보 및 교통정보를 수신하면서 차량을 운전하며; 상기 b) 단계의 주간영상 또는 야간영상 데이터는 영상 출력 유닛(140)을 통해 휴대폰(200)으로 출력하는 교통사고 예방을 위한 객체인식-기반 지능형 안경 시스템의 작동 방법.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제

Description

교통사고 예방을 위한 객체인식-기반 지능형 안경 시스템 및 그 작동 방법 {OBJECT RECOGNITION-BASED INTELLIGENCE GLASSES SYSTEM FOR PREVENTING TRAFFIC ACCIDENTS, AND OPERATION METHOD FOR THE SAME} 본 발명은 객체인식-기반 지능형 안경 시스템에 관한 것으로, 보다 구체적으로, 객체인식-기반 지능형 안경을 통해서 차량 운전자의 운전행동을 검지하여 위험운전행동을 판정하고, 교통사고 예방을 위해 차량 운전자에게 경고하는, 교통사고 예방을 위한 객체인식-기반 지능형 안경 시스템 및 그 작동 방법에 관한 것이다. 국내 경찰청 교통사고 통계에 따르면, 교통사고의 원인 중에서 운전자 부주의에 의한 사고가 약 52%로 가장 높은 것으로 보고되었다. 특히, 졸음운전, 야간 시인성 부족 등으로 발생하는 교통사고는 인명피해를 동반하는 대형사고로 이어질 가능성이 높기 때문에 이에 대한 해결책 마련이 시급한 실정이다. 교통사고 예방을 위한 종래기술로서, 예를 들면, 도로상에 돌발상황 검지기를 설치하여 낙하물 등 전방의 위험상황을 운전자에게 알려주거나, 또는 차량에 부착된 레이더 센서를 이용하여 충돌 위험성을 차량 운전자에게 알려주는 기술이 적용되고 있다. 하지만, 종래의 기술에 따른 도로상에 설치하는 돌발상황 검지기의 경우, 단지 도로의 일부 구간에만 설치 및 운영되고 있고, 전체 구간에 대한 정보 수집이 불가능하다는 한계가 있다. 또한, 차량에 부착된 센서-기반 충돌위험 서비스는 일부 고가의 차량에만 적용되어 있기 때문에, 일반차량의 경우 여전히 교통사고의 위험성이 존재한다는 한계가 있다. 한편, 졸음운전을 방지하기 위한 선행기술로서, 대한민국 공개특허번호 제2011-5380호에는 "졸음 경고 시스템 및 졸음 경고 시스템이 설치되는 안경"이라는 명칭의 발명이 개시되어 있는데, 사용자가 졸면 고개를 숙이게 됨에 따라 이를 감지하여 진동 또는 음성 경고를 발생하여 졸음운전 등을 경고하는 안경에 관한 것으로, 도 1을 참조하여 구체적으로 설명한다. 도 1은 종래의 기술에 따른 졸음 경고 시스템을 나타낸 구성도이다. 도 1을 참조하면, 종래의 기술에 따른 졸음 경고 시스템은, 제어부(11), 각도 센서부(12) 및 경고부(13)를 포함하며, 또한, 입력부(14), 모드 전환부(15) 및 타이머(16)를 추가로 포함할 수 있다. 각도 센서부(12)는 사용자의 머리가 기울어지는 각도를 검지하는 것으로, 사용자 머리 부근에 위치되어 사용자가 졸때 머리가 전후로 기울어지는 각도를 검지한다. 이러한 각도 센서부(12)는 헤어 밴드, 헤어 핀 또는 안경에 부착되어 별도의 기구나 단말기 없이 졸음 경고 시스템을 적용할 수 있다. 이때, 각도 센서부(12)는 기준면, 즉, 수평상태에서 기울어지는 각도를 측정하는 것으로, 일반적으로 인코더(Encoder)를 이용한 각도 측정, 가속도 센서를 이용한 각도 측정, 자이로 센서를 이용한 각도 측정 등을 이용하여 각도를 측정할 수 있다. 제어부(11)는 각도 센서부(12)에서 감지된 기울기 각도에 대한 신호를 수신하여 경고부(13)를 제어하며, 예를 들면, 일반적인 머리의 기울어짐에 대하여 노이즈 처리하기 위하여 소정 각도 이상이 되는 경우에만 경고부(13)에서 경고신호가 출력되도록 제어한다. 따라서, 제어부(11)는 수신된 기울기 각도가 기설정된 기준 각도를 초과하는지 판단하여 기준 각도를 초과하는 경우에만 경고부(13)를 구동시켜 기준치를 초과하지 않는 경우에는 경고신호가 출력되지 않는다. 다시 말하면, 종래의 기술에 따른 졸음 경고 시스템의 경우, 각도센서부, 제어부 및 경고부를 포함하되, 각도센서부는 사용자의 머리가 기울어지는 각도를 검지하고, 제어부는 각도 센서부에서 감지된 기울기 각도에 대한 신호를 수신하여 경고부에 제어하며, 소정 각도 이상이 되는 경우에만 경고부에서 경고신호를 출력함으로써 사용자의 졸음 운전을 방지할 수 있다. 종래의 기술에 따른 졸음 경고 시스템에 따르면, 운전중이거나 공부 또는 업무를 볼 때 꾸벅꾸벅 조는 경우, 이를 감지하여 사용자에게 경고를 발생하여 경각심을 일깨워 줘서 교통사고의 발생 위험을 방지할 수 있다. 또한, 머리가 기울어지는 각도에 따라 단계별로 이를 감지하고 그에 대응하여 출력신호를 증폭시켜 졸음 경고를 효율적으로 발생할 수 있다. 하지만, 종래의 기술에 따른 졸음 경고 시스템의 경우, 단지 사용자의 머리가 기울어지는 각도에 대응하여 졸음 경고를 발생하기 때문에, 실제 사용자가 졸지 않고 있는 경우에도 졸음 경고를 발생할 수 있다는 한계가 있다. 한편, 스마트 안경(Smart Glasses)은 투시 기능과 컴퓨터를 탑재한 안경 형태의 디바이스로서 사용자가 착용 가능한 컴퓨터의 일종이다. 이러한 스마트 안경은 카메라, 명령어 입력이 가능한 인터페이스 장치, 사람의 눈으로 투시한 이미지를 전달하는 장치 등의 하드웨어로 구성된다. 또한, 스마트 안경은 별도의 컨트롤러를 사용해 디스플레이에 증강현실 정보를 보여주거나, 스마트폰과 연동하여 전화, 문자, 알람 등의 기능을 이용할 수 있다. 이러한 스마트 안경과 관련된 선행기술로서, 대한민국 공개특허번호 제2020-68277호에는 "교통정보 제공을 위한 시각장애인용 스마트 안경 시스템"이라는 명칭의 발명이 개시되어 있는데, 교통정보 제공을 위한 시각장애인용 스마트 안경 시스템에 관한 것으로, 도 2a 내지 도 2c를 참조하여 설명한다. 도 2a는 종래의 기술에 따른 교통정보 제공을 위한 시각장애인용 스마트 안경 시스템의 구성도이고, 도 2b는 도 2a에 도시된 시각장애인용 스마트 안경 시스템에서 카메라와 초음파 센서를 동작시켜 객체를 검출하기 위한 입력신호를 발생하는 과정을 설명하기 위한 도면이며, 도 2c는 도 2a에 도시된 시각장애인용 스마트 안경 시스템에서 신호등 관련 정보를 음성신호로 변환하여 출력하는 과정을 설명하기 위한 도면이다. 도 2a를 참조하면, 종래의 기술에 따른 교통정보 제공을 위한 시각장애인용 스마트 안경 시스템은 스마트 안경(20) 및 서버(30)를 포함할 수 있다. 스마트 안경(20)은 입력 인터페이스(21), 카메라(22), 초음파 센서(23), 통신 인터페이스(24), 출력 인터페이스(25) 및 제어부(26)를 포함할 수 있다. 입력 인터페이스(21)는 사용자인 시각장애인의 입력 조작에 따라 입력신호를 발생시킬 수 있다. 예를 들면, 시각장애인용 스마트 안경(20)의 손잡이 부분에 구비된 입력 버튼을 사용자가 누르거나 시각장애인용 스마트 안경(20)의 손잡이 부분에 구비된 마이크를 통해 사용자의 음성명령이 입력되면, 입력 인터페이스(21)는 입력버튼의 조작이나 음성명령에 따라 입력신호를 발생시킬 수 있다. 또한, 입력 인터페이스(21)는, 도 2b에 도시된 바와 같이, 교통정보 제공 시스템(41)에 의해 교통정보를 제공받는 디스플레이 장치(42)에 스마트 안경(20)이 일정 거리 이내로 인접하는 경우, 이를 인지하여 입력신호를 발생시킬 수도 있다. 이를 위해서, 디스플레이 장치(42)는 비콘(beacon) 신호를 발생시킬 수 있으며, 스마트 안경(20)이 디스플레이 장치(42)로부터 일정 거리 이내로 인접하는 경우, 입력 인터페이스(21)는 비콘신호를 감지하고 입력신호를 발생시킬 수 있다. 카메라(22)는 전방에 위치하는 객체의 영상을 촬영할 수 있고, 초음파 센서(23)는 객체의 거리를 측정할 수 있다. 통신 인터페이스(24)는 카메라(22) 및 초음파 센서(23) 각각의 출력신호를 서버(30)에 전송할 수 있다. 이러한 통신 인터페이스(24)는 네트워크를 통해서 외부 디바이스나 서버(30)와 데이터를 주고받을 수 있다. 즉, 통신 인터페이스(24)는 스마트 안경(20) 내부에서 처리된 데이터를 외부로 전송할 수 있으며, 반대로 외부의 서버나 외부 디바이스로부터 데이터나 정보 등을 수신할 수도 있다. 여기서, 서버(30)는 객체 검출부(31), 메모리(32), 영상 처리부(33), 텍스트-음성 변환부(34) 및 제어부(35)를 포함할 수 있다. 또한, 도 2c에 도시된 바와 같이, 통신 인터페이스(24)는 사용자를 기준으로 가장 근접한 위치, 달리 말하면 스마트 안경(20)을 기준으로 가장 근접한 위치에 존재하는 신호등의 위치와 신호 상태를 포함하는 신호등 관련 정보를 교통정보 제공 시스템(41)으로부터 제공받을 수 있다. 이에 따라, 출력 인터페이스(24)는 사용자가 음성으로 인식할 수 있도록 TTS(Text-to-Speech) 기술을 제공하는 TTS 시스템(43)을 통해 음성신호로 변환된 신호등 관련 정보를 출력할 수 있다. 출력 인터페이스(25)는 추출된 텍스트에 대응하는 음성신호를 서버(30)로부터 수신하여 출력할 수 있다. 이때, 출력 인터페이스(25)는 추출된 텍스트에 포함된 교통수단의 도착시간이 짧아질수록 음성신호 또는 진동신호를 포함하는 경고 신호의 발생주기를 점차적으로 빠르게 할 수 있다. 제어부(26)는 스마트 안경(20)의 입력 인터페이스(21), 카메라(22), 초음파 센서(23), 통신 인터페이스부(24), 출력 인터페이스(25) 등의 동작을 전반적으로 제어한다. 다시 말하면, 종래의 기술에 따른 교통정보 제공을 위한 시각장애인용 스마트 안경 시스템의 경우, 교통정보제공 시스템에 의해 교통정보를 제공받는 디스플레이 장치에 일정거리 내로 인접시 입력 신호를 발생시키거나, 사용자의 입력조작에 의해 입력신호를 발생시키는 입력 인터페이스와 객체의 영상을 촬영하는 카메라와 초음파 센서를 포함함으로써, 카메라의 출력신호에 기초해 촬영된 영상으로부터 객체를 검출하고, 객체인식 알고리즘을 구동시켜 객체를 검출하되, 교통정보와 관련된 객체를 판별하여 객체로부터 텍스트를 인지하여 음성신호로 변환하여 교통정보를 제공할 수 있다. 종래의 기술에 따른 교통정보 제공을 위한 시각장애인용 스마트 안경 시스템에 따르면, 교통정보와 관련된 주요 객체로부터 텍스트를 인지하여 음성신호로 변환하여 출력함으로써 시각장애인에게 교통 이용의 편의를 제공할 뿐만 아니라 안전사고를 예방할 수 있다. 하지만, 종래의 기술에 따른 교통정보 제공을 위한 시각장애인용 스마트 안경 시스