DE-102021126254-B4 - Überwachen der Aufmerksamkeit und der kognitiven Belastung der Insassen für autonome und halbautonome Fahranwendungen

Abstract

Verfahren, umfassend: Bestimmen einer Blickrichtung eines Insassen zumindest teilweise basierend auf ersten Sensordaten (102A), die mit einem oder mehreren ersten Sensoren eines Fahrzeugs erzeugt wurden; Erzeugen einer Darstellung der Blickrichtung in einem Weltraumkoordinatensystem; Bestimmen, im Weltkoordinatensystem und zumindest teilweise basierend auf zweiten Sensordaten (102B), die mit einem oder mehreren zweiten Sensoren des Fahrzeugs erzeugt wurden, einer Objektposition von mindestens einem Objekt; Vergleichen der Darstellung der Blickrichtung mit der Objektposition; und Durchführen einer oder mehrerer Operationen, die zumindest teilweise auf dem Vergleich basieren, Bestimmen eines kognitiven Belastungswerts des Insassen zumindest teilweise basierend auf Augenbewegungen, Augenmessungen oder Augenmerkmalen des Insassen des Fahrzeugs, wobei das Durchführen der einen oder mehreren Operationen zumindest teilweise auf dem kognitiven Belastungswert basiert.

Inventors

• Nuri Murat ARAR
• Niranjan Avadhanam
• Yuzhuo Ren

Assignees

• NVIDIA CORPORATION

Dates

Publication Date

20260507

Application Date

20211011

Priority Date

20201021

Claims (10)

1. Verfahren, umfassend: Bestimmen einer Blickrichtung eines Insassen zumindest teilweise basierend auf ersten Sensordaten (102A), die mit einem oder mehreren ersten Sensoren eines Fahrzeugs erzeugt wurden; Erzeugen einer Darstellung der Blickrichtung in einem Weltraumkoordinatensystem; Bestimmen, im Weltkoordinatensystem und zumindest teilweise basierend auf zweiten Sensordaten (102B), die mit einem oder mehreren zweiten Sensoren des Fahrzeugs erzeugt wurden, einer Objektposition von mindestens einem Objekt; Vergleichen der Darstellung der Blickrichtung mit der Objektposition; und Durchführen einer oder mehrerer Operationen, die zumindest teilweise auf dem Vergleich basieren, Bestimmen eines kognitiven Belastungswerts des Insassen zumindest teilweise basierend auf Augenbewegungen, Augenmessungen oder Augenmerkmalen des Insassen des Fahrzeugs, wobei das Durchführen der einen oder mehreren Operationen zumindest teilweise auf dem kognitiven Belastungswert basiert.
2. Verfahren nach Anspruch 1 , wobei das Durchführen der einen oder mehreren Operationen das Durchführen einer der folgenden Operationen umfasst: Unterdrücken einer Benachrichtigung, wenn die Darstellung die Objektposition mehr als einen Schwellenwert überlappt; oder Erzeugen der Benachrichtigung, wenn die Darstellung die Objektposition mehr als einen Schwellenwert nicht überlappt.
3. Verfahren nach Anspruch 1 oder 2 , wobei der eine oder die mehreren ersten Sensoren mindestens einen ersten Sensor mit einem Sichtfeld des Insassen innerhalb des Fahrzeugs beinhalten und der eine oder die mehreren zweiten Sensoren mindestens einen zweiten Sensor mit einem Sichtfeld außerhalb des Fahrzeugs beinhalten.
4. Verfahren nach einem der vorhergehenden Ansprüche, ferner umfassend: Überwachen der Augenbewegungen des Fahrzeuginsassen, um eines oder mehrere der folgenden Merkmale zu bestimmen: Blickmuster, Sakkadengeschwindigkeiten, Fixierungen oder gleichmäßige Verfolgung; Bestimmen eines Aufmerksamkeitswertes des Insassen zumindest teilweise basierend auf einem oder mehreren der Blickmuster, der Sakkadengeschwindigkeiten, der Fixationsverhaltensweisen oder der gleichmäßigen Verfolgungsverhaltensweisen, wobei das Durchführen der einen oder mehreren Operationen zumindest teilweise auf dem Aufmerksamkeitswert basiert.
5. Verfahren nach einem der vorhergehenden Ansprüche, ferner umfassend: Erzeugen einer Wärmekarte, die dem Straßensuchverhalten des Fahrzeuginsassen über einen bestimmten Zeitraum entspricht, wobei das Durchführen der einen oder mehreren Operationen zumindest teilweise auf der Wärmekarte basiert.
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Bestimmen des kognitiven Belastungswerts zumindest teilweise auf einem kognitiven Belastungsprofil basiert, das dem Insassen entspricht, wobei das kognitive Belastungsprofil während einer oder mehrerer Fahrten mit dem Insassen erzeugt wurde.
7. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Bestimmen der Objektposition das Anwenden der zweiten Sensordaten auf ein oder mehrere tiefe neuronale Netze (DNN) umfasst, die so konfiguriert sind, dass sie Daten berechnen, die die Objektposition anzeigen.
8. Verfahren nach einem der vorhergehenden Ansprüche, ferner umfassend: Bestimmen einer oder mehrerer Körperhaltungen, einer Geste oder einer Aktivität, die der Insasse durchführt, wobei das Durchführen der einen oder mehreren Operationen zumindest teilweise auf der Körperhaltung, der Geste oder der Aktivität basiert.
9. System, umfassend: einen oder mehrere Sensoren; einen oder mehrere Prozessoren; und eine oder mehrere Vorrichtungen, auf denen Anweisungen gespeichert sind, die, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, Operationen auszuführen, die Folgendes umfassen: Bestimmen einer Blickrichtung eines Insassen zumindest teilweise basierend auf ersten Sensordaten (102A), die mit einem oder mehreren ersten Sensoren eines Fahrzeugs erzeugt wurden; Erzeugen einer Darstellung der Blickrichtung in einem Weltraumkoordinatensystem; Bestimmen, im Weltkoordinatensystem und zumindest teilweise basierend auf zweiten Sensordaten (102B), die mit einem oder mehreren zweiten Sensoren des Fahrzeugs erzeugt wurden, einer Objektposition von mindestens einem Objekt; Vergleichen der Darstellung der Blickrichtung mit der Objektposition; und Durchführen einer oder mehrerer Operationen, die zumindest teilweise auf dem Vergleich basieren, Bestimmen eines kognitiven Belastungswerts des Insassen zumindest teilweise basierend auf Augenbewegungen, Augenmessungen oder Augenmerkmalen des Insassen des Fahrzeugs, wobei das Durchführen der einen oder mehreren Operationen zumindest teilweise auf dem kognitiven Belastungswert basiert.
10. System nach Anspruch 9 , wobei das System mindestens eines der folgenden Elemente umfasst: ein Steuerungssystem für eine autonome oder halbautonome Maschine; ein Wahrnehmungssystem für eine autonome oder halbautonome Maschine; ein System zum Durchführen von Simulationsoperationen; ein System zum Durchführen von Deep-Learning-Operationen; ein System, das mit einer Randvorrichtung implementiert wird; ein System, das eine oder mehrere virtuelle Maschinen (VM) enthält; ein System, das mit einem Roboter implementiert wird; ein System, das zumindest teilweise in einem Rechenzentrum implementiert ist; oder ein System, das zumindest teilweise unter Verwendung von Cloud-Computing-Ressourcen implementiert wurde.

Description

STAND DER TECHNIK Kognitive und visuelle Aufmerksamkeit spielen eine wichtige Rolle für die Fähigkeit des Fahrers, sicherheitskritische Ereignisse zu erkennen und somit das Fahrzeug sicher zu steuern. Wenn ein Fahrer beispielsweise abgelenkt ist - z. B. durch Tagträumen, Ablenkung, Nutzung der geistigen Kapazität für andere Aufgaben als die aktuelle Fahraufgabe, Beobachtung von Aktivitäten im Gelände usw. - kann der Fahrer möglicherweise keine angemessenen Planungs- und Kontrollentscheidungen treffen, oder die richtigen Entscheidungen können verzögert werden. Um dem Rechnung zu tragen, werden einige Fahrzeugsysteme - wie z. B. fortschrittliche Fahrerassistenzsysteme (ADAS) - eingesetzt, um akustische, visuelle und/oder taktile Warnungen oder Hinweise für den Fahrer zu generieren, um ihn über Umwelt- und/oder Straßenbedingungen zu informieren (z. B. über gefährdete Verkehrsteilnehmer (VRUs), Ampeln, starkes Verkehrsaufkommen, mögliche Kollisionen usw.). Mit zunehmender Anzahl von Warnsystemen (z. B. automatische Notbremsung (automatic emergency braking, AEB), Erkennung des toten Winkels (blind spot detection, BSD), Vorwärtskollisionswarnung (FCW) usw.) kann die Anzahl der erzeugten Warnungen für den Fahrer jedoch überwältigend werden. Infolgedessen kann ein Fahrer die Funktionen der Sicherheitssysteme für eines oder mehrere dieser Systeme ausschalten, wodurch die Wirksamkeit dieser Systeme bei der Eindämmung von unsicheren Ereignissen aufgehoben wird. In einigen herkömmlichen Systemen können Fahrerüberwachungssysteme und/oder Systeme zur Erkennung von Müdigkeit des Fahrers eingesetzt werden, um den aktuellen Zustand des Fahrers zu ermitteln. Diese herkömmlichen Systeme messen jedoch die kognitive Belastung oder die Aufmerksamkeit des Fahrers unabhängig voneinander. Sobald ein Zustand des Fahrers bestimmt wurde, kann dieser beispielsweise gewarnt oder auf seine festgestellte Unaufmerksamkeit oder erhöhte kognitive Belastung hingewiesen werden. Dies führt nicht nur dazu, dass eine Warnung oder ein Alarm zusätzlich zu den bereits vorhandenen Warnhinweisen anderer ADAS-Systeme ausgegeben wird, sondern auch dazu, dass die Bestimmung der Aufmerksamkeit oder der hohen kognitiven Belastung ungenau oder unpräzise sein kann. Im Hinblick auf die Aufmerksamkeit kann beispielsweise der Blick eines Benutzers innerhalb des Fahrzeugs gemessen werden - z. B. wenn der Benutzer in die Fahrzeugkabine blickt. Ein Fahrer, der als aufmerksam eingestuft wird, weil sein Blick auf die Frontscheibe gerichtet ist, ist jedoch möglicherweise nicht wirklich aufmerksam, weil die äußeren Umgebungsbedingungen - z. B. die Position statischer oder dynamischer Objekte, die Straßenbedingungen, die Wartezeiten usw. - nicht berücksichtigt werden. - nicht berücksichtigt werden. Im Hinblick auf die kognitive Belastung verwenden herkömmliche Systeme tiefe neuronale Netze (deep neural networks, DNNs), die anhand simulierter Daten trainiert werden und die Pupillengröße oder andere Augenmerkmale, Augenbewegungen, Blinzelrate oder andere Augenmessungen und/oder andere Informationen mit einer aktuellen kognitiven Belastung verknüpfen. Diese Messungen sind jedoch subjektiv und können für bestimmte Benutzer ungenau oder unpräzise sein - z. B. kann sich die kognitive Belastung bei verschiedenen Fahrern unterschiedlich auswirken und/oder einige Fahrer können bei hoher kognitiver Belastung besser abschneiden als andere. Wenn die Unaufmerksamkeit des Fahrers oder die kognitive Belastung unabhängig voneinander betrachtet und die Umgebungsbedingungen außerhalb des Fahrzeugs ignoriert werden, kann dies zu übermäßigen Warnungen führen, die auf ungenauen, unzuverlässigen oder bruchstückhaften Informationen über den aktuellen Zustand des Fahrers beruhen. Im vorliegenden technischen Gebiet wird noch auf die DE 10 2020 122 357 A1, DE 10 2020 113 712 A1, DE 10 2014 109 079 A1, DE 10 2015 101 239 A1 und DE 10 2015 101 358 A1. Die DE 10 2019 122 267 A1 beschreibt ein Verfahren zur Blickrichtungsnachverfolgung eins Fahrzeuginsassen. KURZDARSTELLUNG Die vorliegenden Ausführungsformen beziehen sich auf das Überwachen der Aufmerksamkeit der Insassen und der kognitiven Belastung für teilautonome oder autonome Fahranwendungen. Es werden ein System und ein Verfahren gemäß der unabhängigen Ansprüche offenbart, die zusätzlich zum Überwachen der Aufmerksamkeit und/oder der kognitiven Belastung geschätzte Sichtfeld- oder Blickinformationen eines Benutzers mit Fahrzeugwahrnehmungsinformationen vergleichen, die einer Umgebung außerhalb des Fahrzeugs entsprechen. Folglich kann die Innenraumüberwachung eines Fahrers oder Insassen des Fahrzeugs auf den Außenbereich des Fahrzeugs ausgedehnt werden, um festzustellen, ob der Fahrer oder Insasse bestimmte Objekttypen, Umgebungsbedingungen oder andere Informationen außerhalb des Fahrzeugs verarbeitet oder gesehen hat - z. B. dynamische Akteure, statische Objekte, gefährdete Verkehrsteilnehmer (VRUs), Informationen über den Wartezustand, Schi