EP-4128057-B1 - METHOD AND SYSTEM FOR PROVIDING AT LEAST ONE COMPRESSED AND SPECIALIZED NEURAL NETWORK FOR A VEHICLE

Inventors

• HÜGER, Fabian
• SCHLICHT, PETER

Dates

Publication Date

20260506

Application Date

20210324

Claims (10)

1. Method for providing at least one compressed and specialized neural network (6) for a vehicle (50), wherein a global neural network (5) is trained by means of a training data set (7) on a backend server (2), wherein the trained global neural network (5) is transmitted to at least one intelligence vehicle (60) of a vehicle fleet (70), wherein at least one expert neural network (6) is trained locally, by means of a student-teacher learning method, on the at least one intelligence vehicle (60) by means of sensor data (52) which were captured in the at least one intelligence vehicle (60) by means of at least one sensor (51) in a context (30-x) corresponding to a specialization of the expert neural network (6), wherein an inference result of the global neural network (5) on the captured sensor data (52) is used in this process as a relevant ground truth, and wherein the at least one trained expert neural network (6) is provided.
2. Method according to claim 1, characterized in that providing the respective trained expert neural networks (6) comprises transmitting the expert neural networks (6) from the intelligence vehicles (60) to the backend server (2), wherein the transmitted expert neural networks (6) are merged on the backend server (2), and wherein at least one merged expert neural network (6) is provided in each case by transmitting it for use to vehicles (50) of the vehicle fleet (70).
3. Method according to claim 1 or claim 2, characterized in that providing the respective trained expert neural networks (6) comprises transmitting the expert neural networks (6) from the intelligence vehicles (60) to the backend server (2), wherein the transmitted expert neural networks (6) are retrained by means of the training data set (7) on the backend server (2).
4. Method according to claim 2 or claim 3, characterized in that the transmitted expert neural networks (6) are optimized with respect to at least one optimization criterion and/or a merged expert neural network (6) is optimized with respect to at least one optimization criterion.
5. Method according to any of the preceding claims, characterized in that the at least one expert neural network (6) is already pre-trained prior to training by means of the student-teacher method or is pre-trained on the backend server (2).
6. Method according to any of the preceding claims, characterized in that a current context (30-x), in which an intelligence vehicle (60) is located, is determined by means of a context detection device (64), wherein one expert neural network (6) corresponding to the determined context (30-x) is selected for training from a plurality of expert neural networks (6) and the selected expert neural network (6) is trained.
7. Method according to any of the preceding claims, characterized in that at least one untrained and/or pre-trained expert neural network (6) is transmitted from the backend server (2) to the at least one intelligence vehicle (60) prior to training.
8. Method according to any of the preceding claims, characterized in that a specialization for at least one expert neural network (6) is specified by means of a machine learning method.
9. Method according to any of the preceding claims, characterized in that the global neural network (5) and the at least one expert neural network (5) provide a function for automated driving of a vehicle (50) and/or for driver assistance of the vehicle (50) and/or for capturing the environment and/or for perceiving the environment.
10. System (1) for providing at least one compressed and specialized neural network (6) for a vehicle (50), which system comprises: a backend server (2), and at least one data processing device (61) of at least one intelligence vehicle (60) of a vehicle fleet (70), wherein the backend server (2) is designed to train a global neural network (5) by means of a training data set (7) and to transmit the trained global neural network (5) to the at least one intelligence vehicle (60), and wherein the data processing device (61) of the at least one intelligence vehicle (60) is designed to locally train, by means of a student-teacher learning method, at least one expert neural network (6) by means of sensor data (52) which were captured in the at least one intelligence vehicle (60) by means of at least one sensor (51) in a context (30-x) corresponding to a specialization of the expert neural network (6), and to use an inference result of the global neural network (6) on the captured sensor data (52) in this process as a relevant ground truth, and to provide the at least one trained expert neural network (6).

Description

Die Erfindung betrifft ein Verfahren und ein System zum Bereitstellen mindestens eines komprimierten und spezialisierten Neuronalen Netzes für ein Fahrzeug. Moderne Fahrerassistenzsysteme und Fahrfunktionen zum automatisierten Fahren verwenden zunehmend maschinelles Lernen, um unter anderem die Fahrzeugumgebung einschließlich anderer Verkehrsteilnehmer (z.B. Fußgänger und weitere Fahrzeuge) zu erkennen und deren Verhalten zu beschreiben. Hierbei erfolgt die Auswertung von Eingabedaten (Input) aus verschiedenen Quellen (z.B. Kameras, Radar, Lidar) durch tiefe neuronale Netze, welche aus diesen unter anderem pixelweise Klassifikationen (semantische Segmentierung) oder Umschließungsrahmen (bounding box) erkannter Objekte erzeugen. In beiden Fällen werden Faltungsnetze (engl. convolutional neural networks, CNN) eingesetzt, welche im Training die Gewichte sogenannter Filter basierend auf dem Input parametrisieren. Leistungsfähige Neuronale Netze nutzen hierbei zunehmend eine Vielzahl von Filtern und Schichten (engl. layer), sodass ein benötigter Zeit- bzw. Rechenaufwand zur Verarbeitung (Inferenz) von Eingabedaten zu Ausgaben hoch ist. Da der Anwendung von Neuronalen Netzen im Bereich des automatisierten Fahrens aufgrund der dynamischen Umgebung harte Einschränkungen bezüglich einer benötigten Rechenzeit obliegen und gleichzeitig die in Fahrzeugen einsetzbare Hardware (Rechenkapazitäten) nicht beliebig skaliert werden kann, ist die Größe des Neuronalen Netzes ein limitierender Faktor bezüglich deren Einsatzmöglichkeiten in solchen Systemen. Um eine Größe des Neuronalen Netzes und hiermit eine zum Ausführen benötigte Rechenzeit zu verringern, ist das sogenannte Schüler-Lehrer-Lernverfahren (engl. Student-Teacher Learning) bekannt. Beim Student-Teacher Learning werden statt eines einzelnen Neuronalen Netzes zwei Modelle trainiert. Hierbei fungiert das erste als "Lehrer" (teacher) und das zweite als "Schüler" (student). Das Schüler-Modell wird hierbei ebenfalls mittels der Eingangsdaten des Lehrer-Modells trainiert. Dabei gibt das Lehrer-Modell in jedem Schritt Informationen an das Schüler-Modell weiter, sodass sich das Schüler-Modell an das Lehrer-Modell anpassen kann. In der Regel wird für das resultierende Schüler-Modell eine kleinere Architektur des Neuronalen Netzes verwendet, sodass dieses gegenüber dem Lehrer-Modell komprimiert ist. Zum Verkleinern eines Neuronalen Netzes sind ferner Pruning-Verfahren, Quantisierungsverfahren und das AutoML for Model Compression (AMC)-Verfahren bekannt. Bei allen bekannten Verfahren wird jedoch eine Vielzahl an markierten (gelabelten) Trainingsdaten benötigt, was z.B. für die semantische Segmentierung mit hohen Kosten verbunden ist. Aus J. Kokic et al., An End-to-Ende Deep Neural Network for Autonomous Driving Designed for Embedded Automotive Platforms, Sensors, Bd. 19, Nr. 9, 3. Mai 2019, Seite 2064, DOI: 10.3390/s19092064, ist ein tiefes Neuronales Netz für das autonome Fahren bekannt. Aus G. Tianyu et al., Robust Student Network Learning, IEEE Transactions on Neural Networks and Learning Systems, 1. Januar 2019, Seiten 1-14, Piscataway, NJ, USA, DOI: 1 0.1109/TNNLS.2019.2929114, ist ein robustes Lernverfahren für Schüler-Neuronale Netze bekannt. Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren und ein System zum Bereitstellen mindestens eines komprimierten und spezialisierten Neuronalen Netzes für ein Fahrzeug zu schaffen, bei denen weniger markierte Trainingsdaten benötigt werden. Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und ein System mit den Merkmalen des Patentanspruchs 10 gelöst. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen. Insbesondere wird ein Verfahren zum Bereitstellen mindestens eines komprimierten und spezialisierten Neuronalen Netzes für ein Fahrzeug zur Verfügung gestellt, wobei ein Global-Neuronales Netz mittels eines Trainingsdatensatzes auf einem Backendserver trainiert wird, wobei das trainierte Global-Neuronale Netz an mindestens ein Aufklärungsfahrzeug einer Fahrzeugflotte übermittelt wird, wobei mindestens ein Experten-Neuronales Netz mittels Sensordaten, die jeweils in dem mindestens einen Aufklärungsfahrzeug mittels mindestens eines Sensors in einem mit einer Spezialisierung des Experten-Neuronalen Netzes korrespondierenden Kontext erfasst wurden, mittels eines Schüler-Lehrer-Lernverfahrens lokal auf dem mindestens einen Aufklärungsfahrzeug trainiert wird, wobei ein Inferenzergebnis des Global-Neuronalen Netzes auf den erfassten Sensordaten hierbei als jeweilige Grundwahrheit verwendet wird, und wobei das mindestens eine trainierte Experten-Neuronale Netz bereitgestellt wird. Ferner wird insbesondere ein System zum Bereitstellen mindestens eines komprimierten und spezialisierten Neuronalen Netzes für ein Fahrzeug geschaffen, umfassend einen Backendserver, und mindestens eine Datenverarbeitungseinrichtung mindestens eines Aufklärungsfahrzeugs einer Fahrzeug