DE-102024003650-A1 - Vorrichtung und Verfahren zum Betrieb eines Entertainment- und/oder Komfortsystems eines Fahrzeugs

Abstract

Die Erfindung betrifft eine Vorrichtung (1) zum Betrieb eines Entertainment- und/oder Komfortsystems eines Fahrzeugs, mittels welcher ausgehend von einem deaktivierten Zustand des Entertainment- und/oder Komfortsystems zumindest eine mittels des Entertainment- und/oder Komfortsystems erzeugte und auf zumindest einen Insassen (IN) wirkende Funktion in Abhängigkeit eines ermittelten Gemütszustands (GZ1 bis GZn) des zumindest einen Insassen (IN) automatisch aktiviert wird und Parameter der zumindest einen Funktion (IN) in Abhängigkeit des Gemütszustands (GZ1 bis GZn) des zumindest einen Insassen (IN) eingestellt werden.

Inventors

• Saurav SUMAN

Assignees

• Mercedes-Benz Group AG

Dates

Publication Date

20260507

Application Date

20241107

Claims (10)

1. Vorrichtung (1) zum Betrieb eines Entertainment- und/oder Komfortsystems eines Fahrzeugs mit - zumindest einer Bilderfassungseinheit (6), ausgebildet zu einer Erfassung zumindest eines Insassen (IN) des Fahrzeugs, - einer Bildverarbeitungseinheit (12) mit einem maschinell trainierten künstlichen neuronalen Netzwerk (N1 bis N4), ausgebildet zu einer Extraktion von Merkmalen des zumindest einen Insassen (IN) aus mittels der zumindest einen Bilderfassungseinheit (6) erfassten Bilddaten, - zumindest einer Auswerteeinheit (13), ausgebildet zu einer Ermittlung eines Gemütszustands (GZ1 bis GZn) des zumindest einen Insassen (IN) aus den extrahierten Merkmalen in einem deaktivierten Zustand des Entertainment- und/oder Komfortsystems, und - zumindest einer Steuereinheit (4), ausgebildet - zu einer Steuerung des Entertainment- und/oder Komfortsystems, - ausgehend vom deaktivierten Zustand des Entertainment- und/oder Komfortsystems zu einer automatischen Aktivierung zumindest einer mittels des Entertainment- und/oder Komfortsystems erzeugten und auf den zumindest einen Insassen (IN) wirkenden Funktion in Abhängigkeit des Gemütszustands (GZ1 bis GZn) des zumindest einen Insassen (IN) und - zu einer Einstellung von Parametern der zumindest einen Funktion in Abhängigkeit des Gemütszustands (GZ1 bis GZn) des zumindest einen Insassen (IN).
2. Vorrichtung (1) nach Anspruch 1 , wobei das Entertainment- und/oder Komfortsystems ausgebildet ist, als Funktion zumindest eine - optische Ausgabe und/oder - akustische Ausgabe und/oder - haptische Ausgabe und/oder - Verstellung einer Position einer innerhalb des Fahrzeugs angeordneten Komponente zu erzeugen.
3. Vorrichtung (1) nach Anspruch 1 oder 2 , wobei das Entertainment- und/oder Komfortsystems zur Erzeugung der zumindest einen Funktion - zumindest einen Bildschirm und/oder - zumindest einen Lautsprecher und/oder - zumindest eine in ihrer Position verstellbare Sonnenschutzvorrichtung und/oder - zumindest eine Massagevorrichtung und/oder - zumindest eine Sitzverstellung und/oder - zumindest eine Beleuchtungsvorrichtung und/oder - zumindest eine Vorrichtung zur Beduftung eines Innenraums des Fahrzeugs und/oder - zumindest eine Klimatisierungsvorrichtung aufweist.
4. Vorrichtung (1) nach einem der vorhergehenden Ansprüche, wobei das Entertainment- und/oder Komfortsystems ausgebildet ist, die zumindest eine Funktion ausschließlich in einem Fondbereich des Fahrzeugs auszuführen.
5. Vorrichtung (1) nach einem der vorhergehenden Ansprüche, wobei das künstliche neuronale Netzwerk (N1 bis N4) ausgebildet ist, anhand der Bilddaten - als Merkmale - Handlungen (HA) des zumindest einen Insassen (IN) und/oder - ein Geschlecht des zumindest einen Insassen (IN) und/oder - ein Alter des zumindest einen Insassen (IN) und/oder - Emotionen (EM) des zumindest einen Insassen (IN) zu extrahieren und/oder - zur Ermittlung zumindest eines Merkmals eine Gesichtserkennung durchzuführen.
6. Vorrichtung (1) nach Anspruch 5 , wobei die zumindest eine Auswerteeinheit (13) ausgebildet ist, die Merkmale und/oder Kombinationen mehrerer Merkmale zur Ermittlung des Gemütszustands (GZ1 bis GZn) des zumindest einen Insassen (IN) in unterschiedlichen Stufen von Prioritäten unterschiedlich zu priorisieren, wobei die Priorität von einer ersten Stufe zu einer fünften Stufe abnimmt und die zumindest eine Auswerteeinheit (13) - Emotionen (EM) des zumindest einen Insassen (IN) eine Priorität der ersten Stufe zuweist und/oder - einer Kombination (CM) einer Emotion (EM) und einer Handlung (HA) des zumindest einen Insassen (IN) eine Priorität der ersten Stufe zuweist und/oder - einer Kombination (BM) einer Emotion (EM) und eines Geschlechts und einer Handlung (HA) des zumindest einen Insassen (IN) eine Priorität der ersten Stufe zuweist und/oder - Handlungen (HA) des zumindest einen Insassen (IN) eine Priorität einer zweiten Stufe zuweist und/oder - einer Kombination (GEM) eines erkannten Gesichts und einer Handlung (HA) des zumindest einen Insassen (IN) eine Priorität der zweiten Stufe zuweist und/oder - einer Kombination (AM) einer Emotion (EM) und einer Handlung (HA) und eines erkannten Gesichts des zumindest einen Insassen (IN) eine Priorität der zweiten Stufe zuweist und/oder - einer Kombination (DM) eines Geschlechts und einer Handlung (HA) des zumindest einen Insassen (IN) eine Priorität einer dritten Stufe zuweist und/oder - einer Kombination (CEM) einer Handlung (HA) und eines erkannten Gesichts und des Geschlechts des zumindest einen Insassen (IN) eine Priorität der dritten Stufe zuweist und/oder - einer Kombination (BEM) einer Emotion (EM) und eines erkannten Gesichts des zumindest einen Insassen (IN) eine Priorität einer vierten Stufe zuweist und/oder - einer Kombination (AEM) einer Emotion (EM) und des Geschlechts des zumindest einen Insassen (IN) eine Priorität einer fünften Stufe zuweist.
7. Vorrichtung (1) nach einem der vorhergehenden Ansprüche, wobei das Entertainment- und/oder Komfortsystems mit einem Backendserver datentechnisch gekoppelt ist und ausgebildet ist, von dem Backendserver zu einer optischen und/oder akustischen Ausgabe vorgesehene Daten zu empfangen.
8. Vorrichtung (1) nach einem der vorhergehenden Ansprüche, wobei das künstliche neuronale Netzwerk (N1 bis N4) ausgebildet ist, in einem verstärkenden Lernen selbständig aus Gemütszuständen (GZ1 bis GZn) des zumindest einen Insassen (IN) und jeweils in Abhängigkeit dieser eingestellter Parameter der zumindest einen Funktion eine Strategie zu erlernen, um erhaltene Belohnungen zu maximieren.
9. Vorrichtung (1) nach einem der vorhergehenden Ansprüche, wobei die zumindest eine Bilderfassungseinheit (6) gemeinsam mit zumindest einem Grafikprozessor (2) in einem System-on-a-Chip integriert ist.
10. Verfahren zum Betrieb eines Entertainment- und/oder Komfortsystems eines Fahrzeugs, wobei - mittels zumindest einer Bilderfassungseinheit (6) zumindest ein Insasse (IN) des Fahrzeugs erfasst wird, - mittels einer Bildverarbeitungseinheit (12) mit einem maschinell trainierten künstlichen neuronalen Netzwerk (N1 bis N4) Merkmale des zumindest einen Insassen (IN) aus mittels der zumindest einen Bilderfassungseinheit (6) erfassten Bilddaten extrahiert werden, - mittels zumindest einer Auswerteeinheit (13) ein Gemütszustand (GZ1 bis GZn) des zumindest einen Insassen (IN) aus den extrahierten Merkmalen in einem deaktivierten Zustand des Entertainment- und/oder Komfortsystems ermittelt wird, und - mittels zumindest einer Steuereinheit (4) - das Entertainment- und/oder Komfortsystem gesteuert wird, - ausgehend vom deaktivierten Zustand des Entertainment- und/oder Komfortsystems zumindest eine mittels des Entertainment- und/oder Komfortsystems erzeugte und auf den zumindest einen Insassen (IN) wirkende Funktion in Abhängigkeit des Gemütszustands (GZ1 bis GZn) des zumindest einen Insassen (IN) automatisch aktiviert wird und - Parameter der zumindest einen Funktion (IN) in Abhängigkeit des Gemütszustands (GZ1 bis GZn) des zumindest einen Insassen eingestellt werden.

Description

Die Erfindung betrifft eine Vorrichtung zum Betrieb eines Entertainment- und/oder Komfortsystems eines Fahrzeugs. Die Erfindung betrifft weiterhin ein Verfahren zum Betrieb eines Entertainment- und/oder Komfortsystems eines Fahrzeugs. Aus der DE 10 2022 130 649 A1 sind eine Vorrichtung und ein Verfahren zum Bestimmen eines emotionalen Zustandes eines Fahrzeuginsassen eines Fahrzeugs bekannt. Die Vorrichtung weist auf:- eine Erfassungseinheit, die dazu ausgebildet ist, eine auf den Insassen bezogene Information zu erfassen und der Information entsprechende Erfassungsdaten bereitzustellen, und- eine Steuereinheit, die dazu ausgebildet ist, von einem Unterhaltungssystem Medieninformationsdaten zu empfangen, die auf momentan im Fahrzeuginnenraum wiedergegebene Mediendaten bezogen sind, die Erfassungsdaten und die Medieninformationsdaten zu verarbeiten und auf Grundlage der Erfassungsdaten und der Medieninformationsdaten den emotionalen Zustand des Insassen zu ermitteln. Weiterhin sind aus der US 2005/0223237 A1 ein emotionsgesteuertes System und ein Verfahren zur Verarbeitung von Multimediadaten bekannt. Das System weist auf:- ein Multimediasystem zur Präsentation von Multimediainhalten für einen Benutzer,- ein Emotionsmodell zur Ermittlung des emotionalen Zustands des Benutzers während der Präsentation der Multimediainhalte und- eine Bearbeitungseinheit zur Änderung der Multimediainhalte entsprechend dem emotionalen Zustand des Benutzers, um die geänderten Multimediainhalte durch das Multimediasystem zu präsentieren. Der Erfindung liegt die Aufgabe zugrunde, eine neuartige Vorrichtung und ein neuartiges Verfahren zum Betrieb eines Entertainment- und/oder Komfortsystems eines Fahrzeugs anzugeben. Die Aufgabe wird erfindungsgemäß gelöst durch eine Vorrichtung, welche die im Anspruch 1 angegebenen Merkmale aufweist, und durch ein Verfahren, welches die im Anspruch 10 angegebenen Merkmale aufweist. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche. Die erfindungsgemäße Vorrichtung zum Betrieb eines Entertainment- und/oder Komfortsystems eines Fahrzeugs weist auf:- zumindest eine Bilderfassungseinheit, ausgebildet zu einer Erfassung zumindest eines Insassen des Fahrzeugs,- eine Bildverarbeitungseinheit mit einem maschinell trainierten künstlichen neuronalen Netzwerk, ausgebildet zu einer Extraktion von Merkmalen des zumindest einen Insassen aus mittels der zumindest einen Bilderfassungseinheit erfassten Bilddaten,- zumindest eine Auswerteeinheit, ausgebildet zu einer Ermittlung eines Gemütszustands des zumindest einen Insassen aus den extrahierten Merkmalen in einem deaktivierten Zustand des Entertainment- und/oder Komfortsystems, und- zumindest eine Steuereinheit, ausgebildet- zu einer Steuerung des Entertainment- und/oder Komfortsystems,- ausgehend vom deaktivierten Zustand des Entertainment- und/oder Komfortsystems zu einer automatischen Aktivierung zumindest einer mittels des Entertainment- und/oder Komfortsystems erzeugten und auf den zumindest einen Insassen wirkenden Funktion in Abhängigkeit des Gemütszustands des zumindest einen Insassen und- zu einer Einstellung von Parametern der zumindest einen Funktion in Abhängigkeit des Gemütszustands des zumindest einen Insassen. Die vorliegende Vorrichtung ermöglicht einen vollständig automatisierten Betrieb des Entertainment- und/oder Komfortsystems des Fahrzeugs mit einer Minimierung von Nutzerinteraktionen zur Auswahl einer entsprechenden Funktion und Einstellung von deren Parametern. Dabei ist auch eine Analyse eines Verhaltens von Insassen eines Fahrzeugs bzw. von Reaktionen dieser auf die aktivierten Funktionen des Entertainment- und/oder Komfortsystems möglich. Somit können Informationen über das menschliche Verhalten in Fahrzeugen in den Bereichen Fahrzeugunterhaltung, Komfort und Umgebung gewonnen werden. Aufgrund dessen, dass die Ermittlung des Gemütszustands des zumindest einen Insassen in einem deaktivierten Zustand des Entertainment- und/oder Komfortsystems erfolgt, können Einflüsse von bereits aktivierten Funktionen auf den Gemütszustand ausgeschlossen werden. Dabei ist die automatisierte Steuerung des Entertainment- und/oder Komfortsystems in Abhängigkeit des Gemütszustands des zumindest einen Insassen durch Erkennung des Gemütszustands mittels des maschinell trainierten künstlichen neuronalen Netzwerks sehr zuverlässig und exakt ausführbar. Dabei können beispielsweise personalisierte Unterhaltungen zwischen Insassen unter Berücksichtigung einzelner Privatreisender berücksichtigt werden. Somit ist auch eine Anwendung der Vorrichtung für Flottendienste, wie beispielsweise Taxis, möglich. Die Vorrichtung ermöglicht dabei insbesondere bei automatisiert, insbesondere hochautomatisiert oder autonom fahrenden Fahrzeugen zusätzlich zur Automatisierung des Fahrbetriebs auch eine Automatisierung von Entertainment- und/oder Komfortfunktionen, so dass ein Betrieb des Fahrzeugs nicht nur für einen Fahrer, sondern auch andere Insassen v