DE-102025133621-A1 - Verfahren zum Zusammenführen von mindestens zwei Ausgangssignalen von mindestens zwei Sensoreinrichtungen eines Kraftfahrzeugs, ein entsprechendes Computerprogrammprodukt, ein entsprechendes nicht-flüchtiges Computerspeichermedium sowie eine entsprechende elektronische Recheneinrichtung

Abstract

Die Erfindung betrifft ein Verfahren zum Verknüpfen mindestens zweier Ausgangssignale (22, 24) mindestens zweier Sensoreinrichtungen (14, 16) eines Kraftfahrzeugs (10) durch eine elektronische Recheneinrichtung (12) des Kraftfahrzeugs (10), mit den folgenden Schritten: Empfangen mindestens eines ersten Ausgangssignals (22) mindestens einer ersten Sensoreinrichtung (14) der mindestens zwei Sensoreinrichtungen (14, 16) durch die elektronische Recheneinrichtung (12); Empfangen mindestens eines zweiten Ausgangssignals (24) mindestens einer zweiten Sensoreinrichtung (16) der mindestens zwei Sensoreinrichtungen (14, 16) durch die elektronische Recheneinrichtung (12); Bereitstellen eines tiefen neuronalen Netzwerks (30) zum Bestimmen einer Zeitverschiebung zwischen den mindestens zwei empfangenen Ausgangssignalen (22, 24) durch die elektronische Recheneinrichtung (12); Bestimmen des Zeitversatzes durch das tiefe neuronale Netzwerk (30); Zusammenführen der mindestens zwei Ausgangssignale (22, 24) in Abhängigkeit von dem bestimmten Zeitversatz durch die elektronische Recheneinrichtung (12). Ferner betrifft die vorliegende Erfindung ein Computerprogrammprodukt, ein nicht-flüchtiges lesbares Computerspeichermedium sowie zwei elektronische Recheneinrichtungen (12).

Inventors

• Sihao DING

Assignees

• Mercedes-Benz Group AG

Dates

Publication Date

20260507

Application Date

20250822

Priority Date

20241104

Claims (10)

1. Verfahren zum Zusammenführen mindestens zweier Ausgangssignale (22, 24) mindestens zweier Sensoreinrichtungen (14, 16) eines Kraftfahrzeugs (10) durch eine elektronische Recheneinrichtung (12) des Kraftfahrzeugs (10), mit den Schritten: - Empfangen mindestens eines ersten Ausgangssignals (22) mindestens einer ersten Sensoreinrichtung (14) der mindestens zwei Sensoreinrichtungen (14, 16) durch die elektronische Recheneinrichtung (12); - Empfangen mindestens eines zweiten Ausgangssignals (24) mindestens einer zweiten Sensoreinrichtung (16) der mindestens zwei Sensoreinrichtungen (14, 16) durch die elektronische Recheneinrichtung (12); - Bereitstellen eines tiefen neuronalen Netzwerks (30) zum Bestimmen einer Zeitverschiebung zwischen den mindestens zwei empfangenen Ausgangssignalen (22, 24) durch die elektronische Recheneinrichtung (12); - Bestimmen des Zeitversatzes durch das tiefe neuronale Netzwerk (30); - Zusammenführen der mindestens zwei Ausgangssignale (22, 24) in Abhängigkeit von dem ermittelten Zeitversatz durch die elektronische Recheneinrichtung (12).
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet , dass die Fusionierung durch das tiefe neuronale Netzwerk (30) durchgeführt wird.
3. Verfahren nach Anspruch 1 , dadurch gekennzeichnet , dass die Fusion in Abhängigkeit von mindestens einem dynamischen Parameter des Kraftfahrzeugs (10) durchgeführt wird.
4. Verfahren nach Anspruch 3 , dadurch gekennzeichnet , dass die Fusionssteuerung in Abhängigkeit von einer Geschwindigkeit als dynamischem Parameter des Kraftfahrzeugs (10) durchgeführt wird.
5. Verfahren nach einem der Ansprüche 1 bis 4 , dadurch gekennzeichnet , dass die mindestens zwei Sensoreinrichtungen (14, 16) sich in ihrer Art der Erfassung der Umgebung (38) des Kraftfahrzeugs (10) unterscheiden.
6. Verfahren nach einem der Ansprüche 1 bis 5 , dadurch gekennzeichnet , dass die mindestens zwei Ausgangssignale (22, 24) desynchronisiert sind.
7. Verfahren nach einem der Ansprüche 1 bis 6 , dadurch gekennzeichnet , dass mindestens eines der beiden Ausgangssignale (22, 24) einen ungenauen Zeitstempel umfasst.
8. Computerprogrammprodukt, das Programmcodemittel zum Ausführen eines Verfahrens nach einem der Ansprüche 1 bis 7 umfasst.
9. Nicht-flüchtiges, computerlesbares Speichermedium, das mindestens das Computerprogrammprodukt gemäß Anspruch 8 umfasst.
10. Elektronische Recheneinrichtung (12) eines Kraftfahrzeugs (10) zum Verknüpfen von mindestens zwei Ausgangssignalen (22, 24) von mindestens zwei Sensoreinrichtungen (14, 16) des Kraftfahrzeugs (10), wobei die elektronische Recheneinrichtung (12) zum Ausführen eines Verfahrens nach einem der Ansprüche 1 bis 7 konfiguriert ist.

Description

GEBIET DER ERFINDUNG Die vorliegende Erfindung betrifft das Gebiet der Kraftfahrzeuge. Genauer gesagt betrifft die vorliegende Erfindung ein Verfahren zum Führen von mindestens zwei Ausgangssignalen von mindestens zwei Sensoreinrichtungen eines Kraftfahrzeugs durch eine elektronische Recheneinrichtung des Kraftfahrzeugs gemäß dem anhängigen Anspruch 1. Ferner betrifft die vorliegende Erfindung ein entsprechendes Computerprogrammprodukt, ein entsprechendes nicht-flüchtiges Computerspeichermedium sowie zwei entsprechende elektronische Recheneinrichtungen. HINTERGRUND Aus dem Stand der Technik ist bekannt, dass der Sensorfusionsalgorithmus in der Regel synchronisierte Eingangssensordaten benötigt, um optimal zu funktionieren. Eine Synchronisation, insbesondere zeitliche Synchronisation, ist jedoch nicht immer einfach. Dies kann daran liegen, dass die Kraftfahrzeuge möglicherweise nicht über einen gut konzipierten Synchronisationsmechanismus innerhalb der Sensoreinrichtungen verfügen. Darüber hinaus kann der Zeitstempel ungenau sein oder fehlen. ZUSAMMENFASSUNG Aufgabe der vorliegenden Erfindung ist es, ein Verfahren, ein entsprechendes Computerprogrammprodukt, ein entsprechendes nicht-flüchtiges Computerspeichermedium sowie ein entsprechendes elektronisches Rechengerät bereitzustellen, mit denen die Sensorfusion von mindestens zwei Sensoreinrichtungen in einer genehmigten Weise bereitgestellt werden kann. Diese Aufgabe wird durch ein Verfahren, ein entsprechendes Computerprogrammprodukt, ein entsprechendes nicht-flüchtiges Computerspeichermedium sowie eine entsprechende elektronische Recheneinrichtung gemäß den unabhängigen Ansprüchen gelöst. Vorteilhafte Ausführungsformen sind in den abhängigen Ansprüchen dargestellt. Ein Aspekt der Erfindung betrifft ein Verfahren zum Fusionsverfahren mindestens zweier Ausgangssignale mindestens zweier Sensoreinrichtungen eines Kraftfahrzeugs durch eine elektronische Recheneinrichtung des Kraftfahrzeugs. Mindestens ein erstes Ausgangssignal mindestens einer ersten Sensoreinrichtung der mindestens zwei Sensoreinrichtungen wird von der elektronischen Recheneinrichtung empfangen. Mindestens ein zweites Ausgangssignal mindestens einer zweiten Sensoreinrichtung der mindestens zwei Sensoreinrichtungen wird von der elektronischen Recheneinrichtung empfangen. Die elektronische Recheneinrichtung stellt ein tiefes neuronales Netzwerk zur Bestimmung eines Zeitversatzes zwischen den mindestens zwei empfangenen Ausgangssignalen bereit. Der Zeitversatz wird durch das tiefe neuronale Netzwerk bestimmt und die mindestens zwei Ausgangssignale werden in Abhängigkeit von dem bestimmten Zeitversatz durch die elektronische Recheneinrichtung fusioniert. Daher wird eine Sensorfusion insbesondere von falsch synchronisierten oder nicht synchronisierten, d. h. von mehreren Sensoren eingegebenen Signalen bereitgestellt. Somit wird die Fusionierung von nicht synchronisierten Ausgangssignalen von Sensoreinrichtungen auf verbesserte Weise bereitgestellt. Daher ist das tiefe neuronale Netzwerk über die Synchronisation in Bezug auf die Genauigkeit informiert und überwindet das Synchronisationsproblem. Daher wird das tiefe neuronale Netzwerk mit Trainingsdaten trainiert, insbesondere mit Trainingsdaten von verschiedenen Sensoreinrichtungen, die nicht synchronisiert sind. Daher kann das tiefe neuronale Netzwerk bereitgestellt und trainiert werden, um die nicht synchronisierten Daten zu fusionieren. Für einen Fachmann ist es offensichtlich, dass das Kraftfahrzeug mehr als zwei Sensoreinrichtungen umfassen kann, die durch das tiefe neuronale Netzwerk fusioniert werden können. Ein Sensorgerät kann beispielsweise ein Radarsensorgerät, ein Lidarsensorgerät, ein Ultraschallsensorgerät oder eine Kamera sein. Insbesondere können die verschiedenen Sensorgeräte die Umgebung eines Kraftfahrzeugs mit unterschiedlicher Zeitauflösung erfassen. Gemäß der Erfindung wird dieses Problem durch die Fusion der Ausgangssignale der verschiedenen Sensorgeräte mit einem tiefen neuronalen Netzwerk überwunden. Insbesondere ist es naheliegend, dass mehrere gleiche Sensoreinrichtungen sowie mehrere verschiedene Sensoreinrichtungen durch die elektronische Recheneinrichtung fusioniert werden können. Daher können die fusionierten Daten verwendet werden, um eine effizientere Erfassung der Umgebung zu ermöglichen, und somit beispielsweise in einem zumindest teilweise automatisierten Kraftfahrzeug oder einem vollautomatisierten Kraftfahrzeug verwendet werden. Darüber hinaus kann die verbesserte erfasste Umgebung verwendet werden, um die Umgebung auf einer Anzeigeeinrichtung für einen Benutzer des Kraftfahrzeugs darzustellen. Gemäß einer Ausführungsform wird die Fusion durch das tiefe neuronale Netzwerk durchgeführt. Insbesondere ist das tiefe neuronale Netzwerk sich der Synchronisation und Genauigkeit bewusst. Das tiefe neuronale Netzwerk ist explizit darauf trainiert, den Zeitversatz vorherzusagen. Das tiefe neuronale Netzwerk ist so konfigu