KR-20260060615-A - Method And Apparatus for Autonomous Control of Vehicle

Abstract

차량의 자율 제어 방법 및 장치에 관한 것이다. 본 개시의 일 측면에 의하면, 차량의 속도가 기 설정속도 이하인지 판단하는 과정; 동승자를 모니터링 대상으로 특정하는 과정; 상기 동승자를 모니터링하여 상기 동승자가 위험상황을 확인하는지 여부를 판단하는 과정; 상기 동승자가 위험상황을 확인하는 경우, 위험상황이 발생하였는지 여부를 판단하는 과정; 및 상기 차량을 제어하는 과정을 포함하는, 자율 제어방법을 제공한다.

Inventors

• 송사헌

Assignees

• 현대자동차주식회사
• 기아 주식회사

Dates

Publication Date

20260506

Application Date

20241025

Claims (20)

1. 차량의 속도가 기 설정속도 이하인지 판단하는 과정; 동승자를 모니터링 대상으로 특정하는 과정; 상기 동승자를 모니터링하여 상기 동승자가 위험상황을 확인하는지 여부를 판단하는 과정; 상기 동승자가 위험상황을 확인하는 경우, 위험상황이 발생하였는지 여부를 판단하는 과정; 및 상기 차량을 제어하는 과정을 포함하는, 자율 제어방법.
2. 제1 항에 있어서 상기 동승자를 모니터링 대상으로 특정하는 과정은, 상기 차량으로부터 하차한 상기 동승자를 모니터링 대상으로 특정하는 과정을 포함하는, 자율 제어방법.
3. 제2 항에 있어서, 상기 동승자를 모니터링 대상으로 특정하는 과정은, 운전석 외 문 열림을 감지한 후로부터 제1 기 설정시간 이내에 상기 동승자가 하차한 경우, 상기 동승자를 모니터링 대상으로 특정하는 과정; 및 인공지능 알고리즘에 의하여 상기 제1 기 설정시간을 설정하는 과정을 포함하는, 자율 제어방법.
4. 제3 항에 있어서, 상기 동승자가 위험상황을 확인하는지 여부를 판단하는 과정은, 상기 동승자가 위험 상황을 확인하는지 여부를 판단할 수 있도록 학습된 DNN모델을 이용하는 과정을 포함하는, 자율 제어방법.
5. 제4 항에 있어서, 상기 동승자가 위험상황을 확인하는지 여부를 판단하는 과정은, 상기 동승자가 위험상황을 확인하지 않는다고 판단한 경우 상기 동승자 모니터링을 중단하는 과정을 포함하는, 자율 제어방법.
6. 제5 항에 있어서, 상기 동승자가 위험상황을 확인하는지 여부를 판단하는 과정은, 상기 동승자가 상기 차량으로부터 기 설정거리 이상 멀어지면 상기 동승자가 위험상황을 확인하지 않는다고 판단하는 과정; 및 인공지능 알고리즘에 의하여 상기 기 설정거리를 설정하는 과정을 포함하는, 자율 제어방법.
7. 제6 항에 있어서, 상기 동승자가 위험상황을 확인하는지 여부를 판단하는 과정은, 상기 동승자가 바라보는 방향이 제2 기 설정시간 이상 상기 차량을 향하지 않은 경우, 상기 동승자가 위험상황을 확인하지 않는다고 판단하는 과정; 및 인공지능 알고리즘에 의하여 제2 기 설정시간을 설정하는 과정을 포함하는, 자율 제어방법.
8. 제7 항에 있어서, 상기 위험상황이 발생하였는지 판단하는 과정은, 위험상황이 발생하였는지 여부를 판단할 수 있도록 학습된 DNN모델을 이용하는 과정을 포함하는, 자율 제어방법.
9. 제8 항에 있어서, 상기 위험상황이 발생하였는지 판단하는 과정은, 소리 센서, 카메라 센서 및 진동 감지센서 중 어느 하나 이상을 이용하여 데이터를 수집하고, 객체탐지모델(Object detection model)을 기반으로 분석하는 과정을 포함하는, 자율 제어방법.
10. 제9 항에 있어서, 상기 위험상황이 발생하였는지 판단하는 과정은, 각 센서로부터 수집된 데이터에 가중치를 부여하고 통합하는 과정을 포함하는, 자율 제어방법.
11. 제10 항에 있어서, 상기 위험상황이 발생하였는지 판단하는 과정은, 상기 카메라 센서를 이용하여 수집한 데이터에 가장 낮은 가중치를 부여하는 과정을 포함하는, 자율 제어방법.
12. 제11 항에 있어서, 상기 위험상황이 발생하였는지 판단하는 과정은, 상기 동승자에 의하여 발생한 소리를 분석하여 위험상황에서 발생하는 소리인지 여부를 판단하는 과정을 포함하는, 자율 제어방법.
13. 제11 항에 있어서, 상기 위험상황이 발생하였는지 판단하는 과정은, 상기 동승자에 의하여 발생한 진동을 분석하여 위험상황에서 발생하는 진동인지 여부를 판단하는 과정을 포함하는, 자율 제어방법.
14. 제11 항에 있어서, 상기 위험상황이 발생하였는지 판단하는 과정은, 상기 동승자의 행동 또는 표정을 분석하여 위험상황에서 나타나는 행동 또는 표정인지 여부를 판단하는 과정을 포함하는, 자율 제어방법.
15. 제11 항에 있어서, 상기 위험상황이 발생하였는지 판단하는 과정은, 위험상황의 위험정도를 판단하는 과정을 포함하는, 자율 제어방법.
16. 제15 항에 있어서, 상기 위험상황이 발생하였는지 판단하는 과정은, 신뢰도 수치 및 긴급도 수치를 산출하여 클래스를 분류함으로써, 상기 위험정도를 판단하는 과정을 포함하는, 자율 제어방법.
17. 제16 항에 있어서, 상기 위험상황이 발생하였는지 판단하는 과정은, 소프트맥스 함수를 이용하여 상기 신뢰도 수치 및 상기 긴급도 수치를 산출하는 과정을 포함하는, 자율 제어방법.
18. 제17 항에 있어서, 상기 차량을 제어하는 과정은, 상기 차량을 제동시키고 운전자에게 위험상황을 알리는 과정을 포함하는, 자율 제어방법.
19. 제18 항에 있어서, 상기 차량을 제어하는 과정은, 상기 출력 디바이스에 위험정도를 표시함으로써, 상기 운전자에게 위험상황을 알리는 과정을 포함하는, 자율 제어방법.
20. 명령어들을 저장하는 적어도 하나의 메모리; 및 적어도 하나의 프로세서를 포함하되, 상기 적어도 하나의 프로세서는 상기 명령어들을 실행함으로써, 차량의 속도가 기 설정속도 이하인지 판단하고, 동승자를 모니터링 대상으로 특정하고, 상기 동승자를 모니터링하여 상기 동승자가 위험상황을 확인하는지 여부를 판단하고, 상기 동승자가 위험상황을 확인하는 경우, 위험상황이 발생하였는지 여부를 판단하고, 상기 차량을 제어하는, 장치.

Description

차량의 자율 제어 방법 및 장치{Method And Apparatus for Autonomous Control of Vehicle} 본 개시는 차량의 자율 제어 방법 및 장치에 관한 것이다. 더욱 상세하게는, 차량으로부터 하차한 동승자가 위험상황을 확인하는지 여부를 판단함으로써 위험상황을 판단하는 차량의 자율 제어 방법 및 장치에 관한 것이다. 골목이나 주차장 등 좁은 공간을 주행하는 운전자는 시야의 한계로 주변상황을 파악하기 어렵다. 종래 운전자보조시스템(Driver Assistance System) 을 이용하더라도 좁은 공간에서는 초음파, 카메라 센서의 오차로 인하여 오작동할 수 있으므로, 주변상황을 정확하게 파악할 수 없다. 주변상황을 파악하지 않고 운전하는 것은 큰 사고로 이어질 수 있다. 좁은 공간에서 발생할 수 있는 사고를 예방하기 위하여 동승자로부터 주변상황을 판단할 수 있는 정보를 수집하여 위험상황을 판단하고 차량을 제어하는 것이 요구된다. 이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다. 도 1은 본 개시의 일 실시예에 따른 자율 제어장치를 개략적으로 나타낸 구성도이다. 도 2는 본 개시의 일 실시예에 따른 자율 제어장치가 동작하는 과정에서 이용하는 객체탐지모델의 일 예를 도시한 도면이다. 도 3은 본 개시의 일 실시예에 따른 자율 제어장치가 객체탐지모델을 기반으로 동승자가 위험상황을 확인하는지 여부를 판단하는 과정을 나타낸 도면이다. 도 4는 본 개시의 일 실시예에 따른 자율 제어장치가 객체탐지모델을 기반으로 위험상황이 발생하였는지 여부를 판단하는 과정을 나타낸 도면이다. 도 5는 본 개시의 일 실시예에 따른 자율 제어방법이 동작하는 과정을 나타낸 흐름도이다 도 6은 본 개시에 따른 방법을 구현하기 위해 사용될 수 있는 예시적인 컴퓨팅장치를 개략적으로 나타낸 블록구성도이다. 이하, 본 개시의 일부 실시예들을 예시적인 도면을 이용해 상세하게 설명한다. 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면 상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 개시를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 본 개시에 따른 실시예의 구성요소를 설명하는 데 있어서, 제1, 제2, i), ii), a), b) 등의 부호를 사용할 수 있다. 이러한 부호는 그 구성요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 부호에 의해 해당 구성요소의 본질 또는 차례나 순서 등이 한정되지 않는다. 명세서에서 어떤 부분이 어떤 구성요소를 '포함' 또는 '구비'한다고 할 때, 이는 명시적으로 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 개시의 예시적인 실시형태를 설명하고자 하는 것이며, 본 개시가 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 도 1은 본 개시의 일 실시예에 따른 자율 제어장치를 개략적으로 나타낸 구성도이다. 본 개시의 일 실시예에 따른 자율 제어장치(10)는 속도 판단부(110), 동승자 관리부(120) 및 위험상황 판단부(130)를 전부 또는 일부 포함할 수 있다. 도 1에 도시된 모든 블록이 자율 제어장치(10)의 필수 구성요소는 아니며, 다른 실시예에서 자율 제어장치(10)에 포함된 일부 블록이 추가, 변경 또는 삭제될 수 있다. 한편, 도 1에 도시된 구성요소들은 기능적으로 구분되는 요소들을 나타낸 것으로서, 적어도 하나의 구성요소가 실제 물리적 환경에서는 서로 통합되는 형태로 구현될 수도 있다. 속도 판단부(110)는 차속이 저속인지 여부를 판단한다. 여기서, 저속은 기 설정속도 이하의 속도로서, 기 설정속도는 사용자에 의하여 임의로 설정되거나 자율 제어장치(10)에 의하여 자동으로 설정될 수 있다. 자율 제어장치(10)는 차량의 주행 정보를 분석하여 사고 발생 위험이 있는 공간 예컨대, 골목이나 주차장 등 좁은 공간에서 차량이 주행하는 평균속도를 기 설정속도로 설정할 수도 있다. 동승자 관리부(120)는 차량으로부터 하차한 동승자(passenger(s))의 모니터링을 수행한다. 동승자 관리부(120)는 센서로부터 정보를 수집하여 문(door)이 열렸는지 여부를 판단하는 제1 센싱부(121) 및 동승자가 위험상황을 확인하는지 여부를 판단하는 제1 판단부(122)를 포함한다. 제1 센싱부(121)는 동승자의 하차 여부를 판단하기 위해 센서로부터 정보를 수집하여 문이 열렸는지 여부를 감지한다. 예컨대, 제1 센싱부(121)는 카메라 센서를 이용하여 운전석 외 문이 열린 것을 감지할 수 있다. 제1 판단부(122)는 동승자가 위험상황을 확인하는지 여부를 판단한다. 제1 판단부(122)는 인공지능 알고리즘을 이용하여 동승자가 위험상황을 확인하는지 여부를 판단할 수 있다. 인공지능 알고리즘은 신경망 알고리즘일 수 있다. 신경망 알고리즘은 심층 신경망(DNN) 또는 합성곱 신경망(CNN)일 수 있으며, 심층 신경망과 합성곱 신경망을 모두 포함할 수 있다. 인공지능 알고리즘은 딥 러닝(Deep Learning) 기반의 인공 지능 알고리즘에 기초한 지도 학습(supervised learning) 방식 또는 비지도 학습(unsupervised learning) 방식에 따라 학습된 모델일 수 있다. 제1 판단부(122)는 사전에 학습된 DNN모델을 이용하여 객체탐지(object detection)함으로써, 동승자가 위험상황을 확인하는지 여부를 판단할 수 있다. 제1 판단부(122)는 객체탐지모델(Object detection model)을 이용하여 객체탐지함으로써, 동승자가 위험상황을 확인하는지 여부를 판단할 수도 있다. 제1 판단부(122)는 카메라 센서로부터 획득한 정보를 심층 신경망 알고리즘을 이용하여 분석함으로써, 동승자가 위험상황을 확인하는지 여부를 판단하기 위한 정보를 추출할 수 있다. 동승자가 위험상황을 확인하는지 여부를 판단하기 위한 정보는 하차정보(getting off information), 거리정보(distance information) 및 방향정보(direction information)를 포함한다. 하차정보는 동승자가 하차하였는지 여부를 판단하는 정보이다. 제1 판단부(122)는 하차정보를 이용하여 모니터링 대상을 특정한다. 구체적으로, 제1 센싱부(121)가 운전석 외 문 열림을 감지한 후, 제1 기 설정시간 이내에 차량으로부터 하차한 동승자를 감지한 경우, 제1 판단부(122)는 하차한 동승자를 모니터링 대상으로 특정한다. 여기서 모니터링 대상은 1명 이상일 수도 있다. 제1 센싱부(121)가 운전석 외 문 열림을 감지한 후 제1 기 설정시간 이내에 차량으로부터 하차한 동승자를 감지하지 못한 경우, 제1 판단부(122)는 동승자가 하차하지 않았다고 판단하여 모니터링 대상을 특정하지 않는다. 여기서 제1 기 설정시간은 자율 제어장치(10)의 인공지능 알고리즘에 의하여 설정될 수 있다. 거리정보는 자율 제어장치(10)의 모니터링 대상과 차량 간의 거리에 관한 정보이다. 제1 판단부(122)는 거리정보를 이용하여 모니터링 중단 여부를 결정한다. 모니터링 대상이 차량으로부터 기 설정거리 이상 멀어지지 않은 경우, 자율 제어장치(10)는 동승자가 위험상황을 확인한다고 판단하여 동승자 모니터링을 진행한다. 모니터링 대상이 차량으로부터 기 설정거리 이상 멀어진 경우, 자율 제어장치(10)는 동승자가 위험상황을 확인하지 않는다고 판단하여 동승자 모니터링을 중단한다. 여기서 기 설정거리는 자율 제어장치(10)의 인공지능 알고리즘에 의하여 설정될 수 있다. 방향정보는 자율 제어장치(10)의 모니터링 대상이 바라보는 방향에 관한 정보이다. 제1 판단부(122)는 방향정보를 이용하여 모니터링 중단 여부를 결정한다. 제1 판단부(122)는 모니터링 대상의 머리 방향(heading direction)을 판단함으로써, 모니터링 대상이 바라보는 방향을 추출할 수도 있다. 모니터링 대상이 바라보는 방향이 제2 기 설정시간 이상 차량을 향한 경우, 자율 제어장치(10)는 동승자가 위험상황을 확인한다고 판단하여 동승자 모니터링을 진행한다. 모니터링 대상이 바라보는 방향이 제2 기 설정시간 이상 차량을 향하지 않은 경우, 자율 제어장치(10)는 동승자가 위험상황을 확인하지 않는다고 판단하여 동승자 모니터링을 중단한다. 여기서 제2 기 설정시간은 자율 제어장치(10)의 인공지능 알고리즘에 의하여 설정될 수 있다. 본 개시의 일 실시예에 따른 위험 상황판단부는 제2 센싱부(131), 제2 판단부(132) 및 제어부(133)를 전부 또는 일부 포함할 수 있다. 위험상황 판단부(130)는 센서를 이용하여 데이터를 수집하는 제2 센싱부(131), 위험상황을 판단하는 제2 판단부(132) 및 판단 결과를 반영하여 차량의 동작을 제어하는 제어부(133)를 포함한다. 제2 센싱부(131)는 센서를 이용하여 데이터를 수집한다. 센서는 복수의 센서일 수 있다. 제2 센싱부(131)는 소리 센서, 카메라 센서 및 진동감지 센서를 포함할 수 있다. 제2 센싱부(131)는 수집한 데이터를 피처라이저(featurizer)하여 제2 판단부(132)에게 입력할 수 있는 형태로 변환할 수 있다. 피처라이저는 원본 데이터를 머신 러닝 모델이 이해할 수 있는 형식으로 변환하는 것이다. 제2 센싱부(131)는 인공지능 알고리즘을 이용하여 학습된 방식에 따라 수집한 데이터를 전처리하거나, 수집한 데이터의 특징을 추출/변환하는 등의 피처라이저할 수 있다. 제2 판단부(132)는 제2 센싱부(131)로부터 입력받은 정보를 이용하여 위험상황이 발생하였는지 여부를 판단하기 위한 학습을 진행한다. 제2 판단부(132)는 인공지능 알고리즘을 이용하여 위험상황이 발생하였는지 여부를 판단하기 위한 학습을 진행할 수 있다. 인공지능 알고리즘은 신경망 알고리즘일 수 있다. 신경망 알고리즘은 심층 신경망(DNN) 또는 합성곱 신경망(CNN)일 수