DE-102024003652-A1 - Verfahren und Vorrichtung zur Bestimmung einer Aufmerksamkeit eines Fahrers während einer Fahrt mit einem Fahrzeug

Abstract

Die Erfindung betrifft ein Verfahren zur Bestimmung einer Aufmerksamkeit eines Fahrers (19) während einer Fahrt mit einem Fahrzeug (3), bei welchem in Abhängigkeit einer sich während der Fahrt einstellenden Augenkonfiguration des Fahrers (19) auf den Aufmerksamkeitsgrad des Fahrers (19) geschlossen wird. Bei einem Verfahren, zur Bestimmung einer Aufmerksamkeit eines Fahrers während einer Fahrt mit einem Fahrzeug, mit welcher die Genauigkeit der Aufmerksamkeitsbestimmung verbessert wird, wird als Augenkonfiguration eine Akkommodation der Linse des Auges (43) überwacht und ein räumliches Modell der sich vor dem Fahrzeug (3) erstreckenden Umgebung erstellt, wobei ein Akkommodationsverlauf mit einem Distanzverlauf eines von dem Umgebungsmodell umfassten Objektes (39) in Korrelation gesetzt wird.

Inventors

• Christian Schneider

Assignees

• Mercedes-Benz Group AG

Dates

Publication Date

20260507

Application Date

20241107

Claims (9)

1. Verfahren zur Bestimmung einer Aufmerksamkeit eines Fahrers (19) während einer Fahrt mit einem Fahrzeug (3), bei welchem in Abhängigkeit einer sich während der Fahrt einstellenden Augenkonfiguration des Fahrers (19) auf den Aufmerksamkeitsgrad des Fahrers (19) geschlossen wird, dadurch gekennzeichnet , dass als Augenkonfiguration eine Akkommodation der Linse des Auges (43) überwacht und ein räumliches Modell der sich vor dem Fahrzeug (3) erstreckenden Umgebung erstellt wird, wobei ein Akkommodationsverlauf mit einem Distanzverlauf eines von dem Umgebungsmodell umfassten Objektes (39) in Korrelation gesetzt wird.
2. Verfahren nach Anspruch 1 dadurch gekennzeichnet , dass das Umgebungsmodell unter Berücksichtigung von Daten erstellt wird, welche von im und/oder am Fahrzeug (3) befindlichen Umfeldsensoren (7) bestimmt werden.
3. Verfahren nach Anspruch 2 , dadurch gekennzeichnet , dass in das räumliche Umgebungsmodell eine Fahrtrajektorie des Fahrzeuges (3) mit einem Toleranzbereich (27) eingefügt wird.
4. Verfahren nach Anspruch 1 , 2 oder 3 dadurch gekennzeichnet , dass das Objekt (39) in Abhängigkeit eines Blickwinkels (31, 33) des Fahrers (19) definiert wird.
5. Verfahren nach Anspruch 4 , dadurch gekennzeichnet , dass aus Abbildern des Auges (43) jeweils ein Blickwinkel (31, 33) und die Akkommodationmaße bestimmt werden, wobei für jedes Abbild überprüft wird, ob ein Schnittpunkt (37) der Blickwinkel (31, 33) beider Augen (43) in dem die Fahrtrajektorie umgebenden Toleranzbereich (27) vorliegt und für die Schnittpunkte (39), welche innerhalb des Toleranzbereiches (27) liegen, eine Distanzdifferenz zwischen Objektabstand und Akkommodationmaßen bestimmt und daraus der relative Verlauf der Akkommodationmaße des Auges (43) und dem Distanzverlauf des Objektes (29) ermittelt wird.
6. Verfahren nach Anspruch 5 , dadurch gekennzeichnet , dass zyklisch geprüft wird, ob der Fahrer (19) während der Bestimmung der Akkommodationmaße den Toleranzbereich (27) betrachtet.
7. Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet , dass die Detektion der Aufmerksamkeit des Fahrers (19) von einem Fahrerassistenzsystem (1) des Fahrzeuges (3) ausgeführt wird, welches bei Ermittlung eines reduzierten Aufmerksamkeitsgrades des Fahrers (19) ein Warnsignal an übergeordnete Fahrzeugsysteme ausgibt.
8. Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet , dass vor Beginn der Aufmerksamkeitsdetektion alle daran beteiligten Systemkomponenten (1, 7, 9) in ein gemeinsames Fahrzeug-Koordinatensystem (25) überführt werden.
9. Vorrichtung zur Bestimmung einer Aufmerksamkeit eines Fahrers (19) während einer Fahrt mit einem Fahrzeug (3), umfassend eine Fahrerbeobachtungskamera (11) zur Erfassung einer sich während der Fahrt einstellenden Augenkonfiguration des Fahrers (19), die mit einer Steuereinheit (5) verbunden ist, welche anhand der von der Fahrerbeobachtungskamera (11) erfassten Augenkonfiguration auf die Aufmerksamkeit des Fahrers (19) schließt, dadurch gekennzeichnet , dass die mit mindestens einem Umfeldsensor (9) des Fahrzeuges (3) verbundene Steuereinheit (5) eine Bildverarbeitungseinheit (13) zur Bestimmung der Akkommodationsmaße des Auges (43) des Fahrers (19) und eine Umfeldrekonstruktionseinheit (15) für eine vor dem Fahrzeug (3) liegende und vom Fahrerauge (43) erfassbare Umgebung umfasst, wobei die Bildverarbeitungseinheit (13) und die Umfeldmodellrekonstruktionseinheit (15) mit einer Aufmerksamkeitsbestimmungseinheit (17) für die Ausführung einer räumlichen Korrelationsanalyse zwischen Akkommodationsdaten und Objektdistanzen innerhalb des Umfeldmodells nach mindestens einem der vorhergehenden Ansprüche gekoppelt sind.

Description

Die Erfindung betrifft ein Verfahren zur Bestimmung einer Aufmerksamkeit eines Fahrers während einer Fahrt mit einem Fahrzeug, bei welchem in Abhängigkeit einer sich während der Fahrt einstellenden Augenkonfiguration des Fahrers auf den Aufmerksamkeitsgrad des Fahrers geschlossen wird, sowie eine Vorrichtung zur Durchführung des Verfahrens. Aus der DE 11 2019 006 700 T5 sind eine Vorrichtung zur Aufmerksamkeitsbestimmung und ein Verfahren zur Aufmerksamkeitsbestimmung bekannt. Die Vorrichtung umfasst eine Bildverarbeitungseinheit, eine Pupillenabstandsberechnungseinheit, eine Heterophorie-Erkennungseinheit und eine Aufmerksamkeitsbestimmungseinheit. Die Bildverarbeitungseinheit ermittelt aus einem Bild der beiden Augen des Fahrers erste Referenzkoordinaten, zweite Referenzkoordinaten, erste Pupillenkoordinaten und zweite Pupillenkoordinaten, aus welchen die Pupillenabstandsberechnungseinheit und die Heterophorie-Erkennungseinheit die Zustände der Augäpfel beider Augen ermitteln, aus welchen auf die Aufmerksamkeit des Fahrers geschlossen wird. Die US 9 834 221 B2 offenbart ein Verfahren und eine Vorrichtung zur Fahreraufmerksamkeitsbestimmung unter Verwendung mindestens einer digitalen Kameravorrichtung und einer Steuereinheit. Mittels der Kameravorrichtung werden Augenkonfigurationen eines Fahrzeugfahrers erkannt. Die Steuereinheit vergleicht die erkannten Augenkonfigurationen mit vorher gespeicherten Modellen und bestimmt, ob die erkannten Augenkonfigurationen innerhalb oder außerhalb eines vorgegebenen Sichtfeldes blicken. Aufgabe der Erfindung ist es, ein Verfahren und eine Vorrichtung zur Bestimmung einer Aufmerksamkeit eines Fahrers während einer Fahrt mit einem Fahrzeug anzugeben, mit welchen die Genauigkeit der Aufmerksamkeitsbestimmung verbessert wird. Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche. Weitere Merkmale, Anwendungsmöglichkeiten und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung, sowie der Erläuterung von Ausführungsbeispielen der Erfindung, die in den Figuren dargestellt sind. Die Aufgabe wird mit dem Gegenstand des Patentanspruchs 1 gelöst. Bei dem eingangs erläuterten Verfahren zur Bestimmung einer Aufmerksamkeit eines Fahrers während einer Fahrt mit einem Fahrzeug, bei welchem in Abhängigkeit einer sich während der Fahrt einstellenden Augenkonfiguration des Fahrers auf den Aufmerksamkeitsgrad des Fahrers geschlossen wird, wird als Augenkonfiguration eine Akkommodation der Linse des Auges überwacht und ein räumliches Modell der sich vor dem Fahrzeug erstreckenden Umgebung erstellt, wobei ein Akkommodationsverlauf mit einem Distanzverlauf eines von dem Umgebungsmodell umfassten Objektes zum Fahrzeug in Korrelation gesetzt wird. Durch die Auswertung des real auftretenden Akkommodationsverlauf der Linsen der Augen, bei welchen die Augenlinsen ihre Brechkraft verändern, um Gegenstände aus unterschiedlichen Entfernungen scharf zu stellen, wird die kognitive Aufmerksamkeit des Fahrers während der Fahrt mit dem Fahrzeug mit hoher Genauigkeit bewertet. Dadurch wird zuverlässig erkannt, ob vom Fahrer betrachtete Objekte auch von diesem kognitiv verarbeitet wurde. Damit werden auch solche Situationen zuverlässig erkannt, bei welchen der Fahrer die Fahrsituation vor ihm zwar betrachtet, d.h. in seinem Blickwinkel hat, jedoch nicht auf diese fokussiert ist, wie es bei Tagträumen oder Starren auftreten kann, wodurch real die Aufmerksamkeit des Fahrers eingeschränkt ist. Einer Verkehrsgefährdung kann somit durch Berücksichtigung der Linsenakkommodation vorgebeugt werden. In einer Ausgestaltung wird das räumliche Umgebungsmodell unter Berücksichtigung von Daten erstellt, welche von, im und/oder am Fahrzeug befindlichen Umfeldsensoren ermittelt werden. Dies kann beispielsweise mittels Kamerasensoren und/oder Lidarsensoren umgesetzt werden. Eine laufende Anpassung des Umgebungsmodells an die während der Fahrt des Fahrzeuges durchfahrene Umgebung erhöht die Genauigkeit des Verfahrens. Alternativ kann das räumliche Umgebungsmodell aber auch in einer fahrzeugexternen Cloud erstellt werden und zyklisch an das Fahrzeug übermittelt werden. In einer weiteren Ausgestaltung wird in das räumliche Umgebungsmodell eine Fahrtrajektorie des Fahrzeuges mit einem Toleranzbereich eingefügt. Der Toleranzbereich dient der Einstellung eines aktiven Regelbereiches, in welchem die Fahreraufmerksamkeit sichergestellt werden soll. In einer weiteren Ausgestaltung wird das Objekt in Abhängigkeit eines Blickwinkels des Fahrers definiert. Damit wird sichergestellt, dass Objekte ausgewertet werden, welche von dem Fahrer erfasst werden. In einer weiteren Ausgestaltung werden aus Abbildern des Auges jeweils ein Blickwinkel und die Akkommodationmaße bestimmt, wobei für jedes Abbild überprüft wird, ob ein Schnittpunkt der Blickwinkel beider Augen in dem die Fahrtrajektorie umgebenden Toleranzberei