Search

KR-20260061146-A - 장치, 장치의 차량 제어 성능 강화 방법 및 장치의 차량 제어 성능 강화 방법을 수행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체

KR20260061146AKR 20260061146 AKR20260061146 AKR 20260061146AKR-20260061146-A

Abstract

본 개시의 일 실시예에 따른 차량 제어 성능 강화를 위한 장치는 주행 상황을 인지하는 딥 러닝 알고리즘으로 학습된 주행 상황 인지 모델 및 첨단 운전 자동화 시스템(Advanced Driver Asistant System, ADAS) 제어를 위한 차량 제어 모델을 저장하는 메모리 및 전방 주행 상황 정보 및 운전자 정보를 포함하는 주행 보조 정보를 획득하고, 상기 주행 보조 정보에 의해 판단된 현재 주행 상황이 전방 미인식 상황인 경우, 상기 주행 상황 인지 모델을 업데이트하고, 업데이트된 주행 상황 인지 모델의 신뢰도를 평가하고, 상기 업데이트된 주행 상황 인지 모델의 신뢰도가 목표 값 이상인 경우, 상기 주행 상황 인지 모델을 상기 업데이트된 주행 상황 인지 모델로 변경하는 하나 이상의 프로세서를 포함할 수 있다.

Inventors

  • 이시현
  • 박영경
  • 노희준
  • 심우진

Assignees

  • 엘지전자 주식회사

Dates

Publication Date
20260506
Application Date
20241022

Claims (20)

  1. 차량 제어 성능 강화를 위한 장치에 있어서, 주행 상황을 인지하는 딥 러닝 알고리즘으로 학습된 주행 상황 인지 모델 및 첨단 운전 자동화 시스템(Advanced Driver Asistant System, ADAS) 제어를 위한 차량 제어 모델을 저장하는 메모리; 및 전방 주행 상황 정보 및 운전자 정보를 포함하는 주행 보조 정보를 획득하고, 상기 주행 보조 정보에 의해 판단된 현재 주행 상황이 전방 미인식 상황인 경우, 상기 주행 상황 인지 모델을 업데이트하고, 업데이트된 주행 상황 인지 모델의 신뢰도를 평가하고, 상기 업데이트된 주행 상황 인지 모델의 신뢰도가 목표 값 이상인 경우, 상기 주행 상황 인지 모델을 상기 업데이트된 주행 상황 인지 모델로 변경하는 하나 이상의 프로세서를 포함하는 장치.
  2. 제1항에 있어서, 상기 운전자 정보는 운전자의 생체정보, 운전자의 감정 상태 또는 상기 운전자의 수동 조작 정보중 적어도 하나 이상의 정보를 포함하고, 상기 하나 이상의 프로세서는 상기 감정 상태 및 상기 수동 조작 정보에 기초하여 현재 주행 상황이 상기 전방 미인식 상황인지 여부를 판단하는 장치.
  3. 제2항에 있어서, 상기 하나 이상의 프로세서는 상기 감정 상태가 불안정 상태이고, 상기 수동 조작 정보가 발생된 경우, 현재 주행 상황을 상기 전방 미인식 상황으로 판단하는 장치.
  4. 제1항에 있어서, 상기 주행 상황 인지 모델은 액티브 러닝 방식에 따라 학습된 모델이고, 상기 주행 상황 인지 모델의 트레이닝 데이터 세트는 전방 이미지 및 상기 전방 이미지에 레이블링된 주행 상황 인식 결과를 나타내는 레이블링 데이터를 포함하는 장치.
  5. 제4항에 있어서, 상기 주행 상황 인식 결과는 위험 노면 상태 또는 위험 물체 중 어느 하나 이상을 식별하는 정보를 포함하고, 상기 하나 이상의 프로세서는 자동 레이블링(auto labeling) 방식을 통해 상기 전방 이미지에 상기 레이블링 데이터를 레이블링하는 장치.
  6. 제4항에 있어서, 상기 하나 이상의 프로세서는 상기 전방 이미지 및 상기 운전자 정보에 포함된 운전자 로그 정보에 기초하여 상기 레이블링 데이터를 선정하는 장치.
  7. 제6항에 있어서, 상기 하나 이상의 프로세서는 복수의 차량들로부터 수신된 상기 전방 이미지 및 상기 운전자 정보에 포함된 운전자 로그 정보에 기초하여 연령대 별 위험 노면 상태 비율을 획득하고, 상기 운전자 로그 정보에 포함된 상기 운전자의 나이에 상응하는 연령대에서 상기 위험 노면 상태 비율이 가장 큰 클래스를 상기 레이블링 데이터로 선정하는 장치.
  8. 제6항에 있어서, 상기 하나 이상의 프로세서는 복수의 차량들로부터 수신된 상기 전방 이미지 및 상기 운전자 정보에 포함된 운전자 로그 정보에 기초하여 연령대 별 위험 물체 비율을 획득하고, 상기 운전자 로그 정보에 포함된 상기 운전자의 나이에 상응하는 연령대에서 상기 위험 물체 비율이 가장 큰 클래스를 상기 레이블링 데이터로 선정하는 장치.
  9. 제1항에 있어서, 상기 하나 이상의 프로세서는 상기 변경된 주행 상황 인지 모델에 따라 상기 차량 제어 모델을 업데이트하고, 상기 변경된 주행 상황 인지 모델 및 상기 차량 제어 모델을 차량에 배포하는 장치.
  10. 제1항에 있어서, 상기 장치는 CDC(Cockpit domain controller) 인 장치.
  11. 장치의 차량 제어 성능 강화 방법에 있어서, 전방 주행 상황 정보 및 운전자 정보를 포함하는 주행 보조 정보를 획득하는 단계; 상기 주행 보조 정보에 의해 판단된 현재 주행 상황이 전방 미인식 상황인 경우, 주행 상황을 인지하는 딥 러닝 알고리즘으로 학습된 주행 상황 인지 모델을 업데이트하는 단계; 업데이트된 주행 상황 인지 모델의 신뢰도를 평가하는 단계; 및 상기 업데이트된 주행 상황 인지 모델의 신뢰도가 목표 값 이상인 경우, 상기 주행 상황 인지 모델을 상기 업데이트된 주행 상황 인지 모델로 변경하는 단계를 포함하는 장치의 차량 제어 성능 강화 방법.
  12. 제11항에 있어서, 상기 운전자 정보는 운전자의 감정 상태 및 상기 운전자의 수동 조작 정보를 포함하고, 상기 방법은 상기 감정 상태 및 상기 수동 조작 정보에 기초하여 현재 주행 상황이 상기 전방 미인식 상황인지 여부를 판단하는 단계를 더 포함하는 장치의 차량 제어 성능 강화 방법.
  13. 제12항에 있어서, 상기 판단하는 단계는 상기 감정 상태가 불안정 상태이고, 상기 수동 조작 정보가 발생된 경우, 현재 주행 상황을 상기 전방 미인식 상황으로 판단하는 단계를 포함하는 장치의 차량 제어 성능 강화 방법.
  14. 제11항에 있어서, 상기 주행 상황 인지 모델은 액티브 러닝 방식에 따라 학습된 모델이고, 상기 주행 상황 인지 모델의 트레이닝 데이터 세트는 전방 이미지 및 상기 전방 이미지에 레이블링된 주행 상황 인식 결과를 나타내는 레이블링 데이터를 포함하는 장치의 차량 제어 성능 강화 방법.
  15. 제14항에 있어서, 상기 주행 상황 인식 결과는 위험 노면 상태 또는 위험 물체 중 어느 하나 이상을 식별하는 정보를 포함하고, 상기 방법은 자동 레이블링(auto labeling) 방식을 통해 상기 전방 이미지에 상기 레이블링 데이터를 레이블링하는 단계를 더 포함하는 장치의 차량 제어 성능 강화 방법.
  16. 제14항에 있어서, 상기 전방 이미지 및 상기 운전자 정보에 포함된 운전자 로그 정보에 기초하여 상기 레이블링 데이터를 선정하는 단계를 더 포함하는 장치의 차량 제어 성능 강화 방법.
  17. 제16항에 있어서, 상기 선정하는 단계는 복수의 차량들로부터 수신된 상기 전방 이미지 및 상기 운전자 정보에 포함된 운전자 로그 정보에 기초하여 연령대 별 위험 노면 상태 비율을 획득하는 단계 및 상기 운전자 로그 정보에 포함된 상기 운전자의 나이에 상응하는 연령대에서 상기 위험 노면 상태 비율이 가장 큰 클래스를 상기 레이블링 데이터로 선정하는 단계를 포함하는 장치의 차량 제어 성능 강화 방법.
  18. 제16항에 있어서, 상기 선정하는 단계는 복수의 차량들로부터 수신된 상기 전방 이미지 및 상기 운전자 정보에 포함된 운전자 로그 정보에 기초하여 연령대 별 위험 물체 비율을 획득하는 단계 및 상기 운전자 로그 정보에 포함된 상기 운전자의 나이에 상응하는 연령대에서 상기 위험 물체 비율이 가장 큰 클래스를 상기 레이블링 데이터로 선정하는 단계를 포함하는 장치의 차량 제어 성능 강화 방법.
  19. 제11항에 있어서, 상기 변경된 주행 상황 인지 모델에 따라 첨단 운전 자동화 시스템(Advanced Driver Asistant System, ADAS) 제어를 위한 차량 제어 모델을 업데이트하는 단계; 및 상기 변경된 주행 상황 인지 모델 및 상기 차량 제어 모델을 차량에 배포하는 단계를 더 포함하는 장치의 차량 제어 성능 강화 방법.
  20. 장치의 차량 제어 성능 강화 방법을 수행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 있어서, 상기 방법은 전방 주행 상황 정보 및 운전자 정보를 포함하는 주행 보조 정보를 획득하는 단계, 상기 주행 보조 정보에 의해 판단된 현재 주행 상황이 전방 미인식 상황인 경우, 주행 상황을 인지하는 딥 러닝 알고리즘으로 학습된 주행 상황 인지 모델을 업데이트하는 단계, 업데이트된 주행 상황 인지 모델의 신뢰도를 평가하는 단계 및 상기 업데이트된 주행 상황 인지 모델의 신뢰도가 목표 값 이상인 경우, 상기 주행 상황 인지 모델을 상기 업데이트된 주행 상황 인지 모델로 변경하는 단계를 포함하는 기록 매체.

Description

장치, 장치의 차량 제어 성능 강화 방법 및 장치의 차량 제어 성능 강화 방법을 수행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체 본 개시는 차량 제어 성능 강화를 위한 장치에 관한 것이다. 차량은 탑승하는 사용자가 원하는 방향으로 이동시키는 장치이다. 대표적으로 자동차를 예를 들 수 있다. 최근의 차량에는 첨단 운전자 보조 시스템(Advanced Driver Assistance System, ADAS)이 구비되어 운전자의 운전을 보조하고 있다. ADAS는 센서나 카메라가 위험상황을 감지하여 사고의 위험을 운전자에게 경고하고 운전자가 판단하여 대처할 수 있도록 도와주는 능동형 안전장치이다. 기존의 학습 기반 ADAS를 위한 모델은 법규화 되거나 일반적인 전방 주행 상황을 기준으로 학습되어 이외 물체에 대한 대응이 어려운 문제가 있다. 종래에는 새로운 전방 주행 상황을 추가하기 위해선 차량 테스트를 통해서 전방 센서 데이터를 취득해야하며, 운전자의 설문조사를 수집하여 논의되었다. 그러나, 이러한 방법은 테스트를 진행하는 운전자 인원/센서 데이터 취득 환경에 대한 제약 사항으로 인해 많은 비용 및 시간이 소요되는 문제가 있다. 또한, 실제 사용자에 대한 최적화된 데이터가 아니므로 사용자에 대한 필요성 혹은 안정성에 대해 상이함을 느낄 수 있다. 도 1은 차량 외부 및 차량 내부의 일예를 도시한 도면이다. 도 2는 차량용 신호 처리 시스템의 아키텍쳐를 도시한 도면이다. 도 3a는 차량 내부의 차량용 디스플레이 장치의 배치의 일예를 도시한 도면이다. 도 3b는 차량 내부의 차량용 디스플레이 장치의 배치의 다른 예를 도시한 도면이다. 도 4는 도 1의 차량의 내부 블록도의 일예이다. 도 5는 본 개시의 일 실시 예에 따른 서버의 구성을 설명하기 위한 블록도이다. 도 6은 본 개시의 실시 예에 따른 차량 시스템의 동작을 설명하기 위한 도면이다. 도 7은 본 개시의 일 실시 예에 따른 차량 제어 성능 강화 방법을 설명하기 위한 시퀀스 다이어그램이다. 도 8 내지 도 11은 본 개시의 실시 예에 따라 전방 미인식 상황을 감지하는 과정을 설명하는 도면들이다. 도 12 및 도 13은 본 개시의 실시 예에 따라 차량으로부터 수집된 전방 이미지 및 운전자 로그 정보의 통계적 분석에 기초하여 주행 상황 인지 모델의 클래스를 선정하는 예를 설명하는 도면이다. 도 14 및 도 15는 본 개시의 또 다른 실시 예에 따라 차량으로부터 수집된 전방 이미지 및 운전자 로그 정보의 통계적 분석에 기초하여 주행 상황 인지 모델의 클래스를 선정하는 예를 설명하는 도면이다. 도 16은 본 개시의 실시 예에 따른 주행 상황 인지 모델의 학습 과정을 설명하는 도면이다. 도 17 내지 도 19는 본 개시의 실시 예에 따른 다양한 주행 상황 인지 모델의 예들을 설명하는 도면이다. 도 20은 본 개시의 일 실시 예에 따른 차량의 차량 제어 성능 강화 방법을 설명하기 위한 흐름도이다. 이하에서는 도면을 참조하여 본 개시를 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다. 도 1은 차량 외부 및 차량 내부의 일예를 도시한 도면이다. 도면을 참조하면, 차량(200)은, 동력원에 의해 회전하는 복수의 바퀴(103FR,103FL,103RL,..), 차량(200)의 진행 방향을 조절하기 위한 스티어링휠(150)에 의해 동작한다. 한편, 차량(200)은, 차량 전방의 영상 획득을 위한 카메라(195) 등을 더 구비할 수 있다. 한편, 차량(200)은, 내부에 영상, 정보 등의 표시를 위한 복수의 디스플레이(180a,180b)를 구비할 수 있다. 도 1에서는, 복수의 디스플레이(180a,180b)로, 클러스터 디스플레이(180a), AVN(Audio Video Navigation) 디스플레이(180b)를 예시한다. 그 외, HUD(Head Up Display) 등도 가능하다. 한편, AVN(Audio Video Navigation) 디스플레이(180b)는, 센터 정보 디스플레이(Center Information Display)라 명명할 수도 있다. 한편, 본 명세서에서 기술되는 차량(200)은, 동력원으로서 엔진을 구비하는 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량 등을 모두 포함하는 개념일 수 있다. 도 2는 차량용 신호 처리 시스템의 아키텍쳐를 도시한 도면이다. 도면을 참조하면, 차량용 신호 처리 시스템의 아키텍쳐(300a)는, 존(zone) 기반의 아키텍쳐에 대응할 수 있다. 이에 따라, 복수의 존(zone)(Z1~Z4)에, 각각 차량 내부의 센서 장치와 프로세서가 배치될 수 있으며, 복수의 존(zone)(Z1~Z4)의 중앙 영역에, 차량용 통신 게이트웨이(GWDa)를 포함하는 신호 처리 장치(170a)가 배치될 수 있다. 한편, 신호 처리 장치(170a)는, 차량용 통신 게이트웨이(GWDa) 외에, 추가로, 자율 주행 제어 모듈(ACC), 칵핏 제어 모듈(CPG) 등을 더 포함할 수 있다. 이러한, 신호 처리 장치(170a) 내의 차량용 통신 게이트웨이(GWDa)는, HPC(High Performance Computing) 게이트웨이일 수 있다. 즉, 도 2의 신호 처리 장치(170a)는 통합형 HPC로서, 외부의 통신 모듈(미도시) 또는 복수의 존(zone)(Z1~Z4) 내의 프로세서(미도시)와 데이터를 교환할 수 있다. 도 3a는 차량 내부의 차량용 디스플레이 장치의 배치의 일예를 도시한 도면이다. 도면을 참조하면, 차량 내부에는, 클러스터 디스플레이(180a), AVN(Audio Video Navigation) 디스플레이(180b), 뒷 좌석 엔터테인먼트(Rear Seat Entertainment) 디스플레이(180c,180d), 룸미러 디스플레이(미도시) 등이 장착될 수 있다. 도 3b는 차량 내부의 차량용 디스플레이 장치의 배치의 다른 예를 도시한 도면이다. 본 개시의 실시예에 따른 차량용 디스플레이 장치(100)는, 복수의 디스플레이(180a~180b), 및 복수의 디스플레이(180a~180b)에 영상, 정보 등을 표시하기 위한 신호 처리를 수행하고, 적어도 하나의 디스플레이(180a~180b)에 영상 신호를 출력하는 신호 처리 장치(170)를 구비할 수 있다. 복수의 디스플레이(180a~180b) 중 제1 디스플레이(180a)는, 주행 상태, 동작 정보 등의 표시를 위한 클러스터 디스플레이(180a)고, 제2 디스플레이(180b)는, 챠량 운행 정보, 네비게이션 지도, 다양한 엔터테인먼트 정보 또는 영상의 표시를 위한 AVN(Audio Video Navigation) 디스플레이(180b)일 수 있다. 신호 처리 장치(170)는, 내부에 프로세서(175)를 구비하며, 프로세서(175) 내의 하이퍼바이저(미도시) 상에서, 제1 가상화 머신 내지 제3 가상화 머신(미도시)을 실행할 수 있다. 제2 가상화 머신(미도시)은 제1 디스플레이(180a)를 위해 동작하며, 제3 가상화 머신(미도시)은, 제2 디스플레이(180b)를 위해 동작할 수 있다. 한편, 프로세서(175) 내의 제1 가상화 머신(미도시)은, 제2 가상화 머신(미도시) 및 제3 가상화 머신(미도시)으로, 동일한 데이터 전송을 위해, 하이퍼바이저(505) 기반의 공유 메모리(508)가 설정되도록 제어할 수 있다. 이에 따라, 차량 내의 제1 디스플레이(180a)와 제2 디스플레이(180b)에 동일한 정보 또는 동일한 영상을 동기화하여 표시할 수 있게 된다. 한편, 프로세서(175) 내의 제1 가상화 머신(미도시)은, 데이터 분담 처리를 위해, 제2 가상화 머신(미도시)과 제3 가상화 머신(미도시)에 데이터의 적어도 일부를 공유한다. 이에 따라, 차량 내의 복수의 디스플레이를 위한 복수의 가상화 머신에서 데이터를 분담하여 처리할 수 있게 된다. 한편, 프로세서(175) 내의 제1 가상화 머신(미도시)은, 차량의 휠 속도 센서 데이터를 수신하고, 처리하여, 제2 가상화 머신(미도시) 또는 제3 가상화 머신(미도시) 중 적어도 하나로, 처리된 휠 속도 센서 데이터를 전송할 수 있다. 이에 따라, 차량의 휠 속도 센서 데이터를, 적어도 하나의 가상화 머신 등에 공유할 수 있게 된다. 한편, 본 개시의 실시예에 따른 차량용 디스플레이 장치(100)는, 주행 상태 정보, 간이 네비게이션 정보, 다양한 엔터테인먼트 정보 또는 영상의 표시를 위한 뒷 좌석 엔터테인먼트(Rear Seat Entertainment) 디스플레이(180c)를 더 구비할 수 있다. 신호 처리 장치(170)는, 프로세서(175) 내의 하이퍼바이저(미도시) 상에서, 제1 가상화 머신 내지 제3 가상화 머신(미도시) 외에 추가로 제4 가상화 머신(미도시)을 실행하여, RSE 디스플레이(180c)를 제어할 수 있다. 이에 따라, 하나의 신호 처리 장치(170)를 이용하여, 다양한 디스플레이(180a~180c)를 제어할 수 있게 된다. 한편, 복수의 디스플레이(180a~180c) 중 일부는, 리눅스 OS 기반 하에 동작하며, 다른 일부는 웹 OS 기반 하에 동작할 수 있다. 본 개시의 실시예에 따른 신호 처리 장치(170)는, 다양한 운영 체제(Operating system;OS) 하에 동작하는 디스플레이(180a~180c)에서도, 동일한 정보 또는 동일한 영상을 동기화하여 표시하도록 제어할 수 있다. 한편, 도 3b에서는, 제1 디스플레이(180a)에, 차량 속도 인디케이터(212a), 차량 내부 온도 인디케이터(213a)가 표시되고, 제2 디스플레이(180b)에, 복수의 애플리케이션과 차량 속도 인디케이터(212b)와 차량 내부 온도 인디케이터(213b)를 포함하는 홈 화면(222)이 표시되고, 제3 디스플레이(180c)에, 복수의 애플리케이션과 차량 내부 온도 인디케이터(213c)를 포함하는 제2 홈 화면(222b)이 표시되는 것을 예시한다. 도 4는 도 1의 차량의 내부 블록도의 일예