DE-102024210626-A1 - Verfahren und System zum Online-Trainieren eines ersten maschinellen Lernmodells

Abstract

Verfahren und technisches System (100) zum Online-Trainieren eines ersten maschinellen Lernmodells (202), das auf einem Steuergerät (204) des technischen Systems (100) ausführbar ist.

Inventors

• Karl Theo Floess
• Frank Schmidt

Assignees

• Robert Bosch Gesellschaft mit beschränkter Haftung

Dates

Publication Date

20260507

Application Date

20241105

Claims (10)

1. Verfahren zum Online-Trainieren eines ersten maschinellen Lernmodells (202), das auf einem Steuergerät (204) eines technischen Systems (100) ausführbar ist, das Verfahren aufweisend die Schritte: - Bereitstellen (S1) eines trainierten zweiten maschinellen Lernmodells (208), das auf einem Server (206) ausführbar ist; - Bereitstellen (S2) von Sensordaten (212) eines Sensors (210) des technischen Systems (100), auf deren Basis mittels des ersten maschinellen Lernmodells (202) ein erster Ausgabewert (214) generiert wird, auf dessen Basis eine erste Aktion (216) für das technische System (100) ausführbar ist; - Speichern (S3) der Sensordaten (212), des ersten Ausgabewertes (214) und der ersten Aktion (216) in einem Speicher (219) des Steuergerätes (204), vorzugsweise wenn ein vorbestimmtes Zeitkriterium erfüllt ist; - Übermitteln (S4) der Sensordaten (212), vorzugsweise des ersten Ausgabewertes (214) und vorzugsweise der ersten Aktion (216) an den Server (206), wenn ein vorbestimmtes Speicherkriterium erfüllt ist; - Generieren (S5) eines zweiten Ausgabewertes (218) und einer auf dessen Basis ausführbaren zweiten Aktion (220) auf Basis der übermittelten Sensordaten (212) mittels des zweiten maschinellen Lernmodells (208); - Übermitteln (S6) des zweiten Ausgabewertes (218) und der zweiten Aktion (220) an das Steuergerät (204) zum Vergleichen der ersten Aktion (216) mit der zweiten Aktion (220); und - wenn der Vergleich der ersten Aktion (216) mit der zweiten Aktion (220) ein vorbestimmtes Vergleichskriterium erfüllt, Online-Trainieren (S7) des ersten maschinellen Lernmodells (202) auf Basis der Sensordaten (212) und des zweiten Ausgabewertes (218).
2. Verfahren nach Anspruch 1 , wobei das vorbestimmte Speicherkriterium eine Anzahl an Sensordaten (212) und/oder Ausgabewerten (214) und/oder Aktionen (216) aufweist, und/oder wobei das Speicherkriterium ein vorbestimmtes, insbesondere speicherplatzabhängiges, Zeitintervall aufweist.
3. Verfahren nach Anspruch 1 oder 2 , wobei das Vergleichskriterium angibt, dass die erste Aktion (216) mit der zweiten Aktion (220) übereinstimmt, oder dass eine Differenz aus der ersten Aktion (216) und der zweiten Aktion (220) ein vorbestimmtes Schwellenkriterium erfüllt.
4. Verfahren nach einem der vorstehenden Ansprüche, wobei während des Generierens (S4) ein Bereitstellen (S2) und ein Speichern (S3) erfolgt.
5. Verfahren nach einem der vorstehenden Ansprüche, wobei die erste Aktion (216) und/oder die zweite Aktion (220) eine diskrete Klassifizierung auf Basis der Sensordaten (212) oder eine kontinuierliche Steueraktion des technischen Systems (220), insbesondere ein Abbremsen oder ein Beschleunigen oder ein Einstellen eines Lenkwinkels aufweist.
6. Verfahren nach einem der vorstehenden Ansprüche, wobei die Sensordaten (212) durch Datenvorverarbeitungsschritte vorverarbeitet werden, um den ersten und/oder zweiten Ausgabewert (214, 218) zu erzeugen.
7. System (100) zum Online-Trainieren eines ersten maschinellen Lernmodells (202), das auf einem Steuergerät (204) ausführbar ist, wobei das System (100) einen Server (206) und das mit dem Server (206) kommunikativ verbundene Steuergerät (204) aufweist, wobei der Server (206) dazu eingerichtet ist, ein trainiertes zweites maschinelles Lernmodell (208) auszuführen, wobei das System (100) einen Sensor (210) aufweist, der dazu ausgebildet ist, Sensordaten (212) bereitzustellen, wobei das erste maschinelle Lernmodell (202) dazu eingerichtet ist, auf Basis der Sensordaten (212) einen ersten Ausgabewert (214) zu generieren, auf dessen Basis eine erste Aktion (216) für das System (100) ausführbar ist; wobei das Steuergerät (204) dazu eingerichtet ist, die Sensordaten (212), den ersten Ausgabewert (214) und die erste Aktion (216) in Abhängigkeit eines vorbestimmten Zeitkriteriums in einem Speicher (219) des Steuergerätes (204) zu speichern, und die Sensordaten (212), vorzugsweise den ersten Ausgabewert (214) und vorzugsweise die erste Aktion (216) an den Server (206) in Abhängigkeit eines vorbestimmten Speicherkriteriums zu übermitteln; wobei das zweite maschinelle Lernmodell (208) dazu eingerichtet ist, einen zweiten Ausgabewert (218) und eine auf dessen Basis ausführbare zweite Aktion (220) auf Basis der übermittelten Sensordaten (212) zu generieren, wobei der Server (206) dazu eingerichtet ist, den zweiten Ausgabewert (218) und die zweite Aktion (220) an das Steuergerät (204) zum Vergleichen der ersten Aktion (216) mit der zweiten Aktion (220) zu übermitteln, und wobei das erste maschinelle Lernmodell (202) in Abhängigkeit eines vorbestimmten Vergleichskriteriums des Vergleichs der ersten Aktion (216) mit der zweiten Aktion (216) auf Basis der Sensordaten (212) und des zweiten Ausgabewertes (218) online trainierbar ist.
8. System (100) nach Anspruch 7 , wobei der Server (206) einen Edge-Server oder einen Cloud-Server umfasst.
9. Computerprogramm mit Programmcode, um zumindest Teile eines Verfahrens nach einem der Ansprüche 1 bis 6 auszuführen, wenn das Computerprogramm auf einem Computer ausgeführt wird, wobei insbesondere das Computerprogramm Befehle umfasst, die bewirken, dass das System (100) nach Anspruch 7 oder 8 das Verfahren nach einem der Ansprüche 1 bis 6 ausführt.
10. Computerlesbarer Datenträger mit Programmcode eines Computerprogramms, um zumindest Teile eines Verfahrens nach einem der Ansprüche 1 bis 6 auszuführen, wenn das Computerprogramm auf einem Computer ausgeführt wird, wobei insbesondere das Computerprogramm gemäß Anspruch 9 auf dem Datenträger gespeichert ist.

Description

Die Erfindung betrifft ein Verfahren zum Online-Trainieren eines ersten maschinellen Lernmodells. Ferner betrifft die Erfindung ein System zum Online-Trainieren eines ersten maschinellen Lernmodells. Stand der Technik Mit dem Aufkommen des 6G-Kommunikationsstandards wird die Nutzung von digitalen Zwillingen zu einem wichtigen Baustein in der modernen Technologie. Insbesondere im Bereich der Mobilität können digitale Zwillinge Informationen an Verkehrsteilnehmer übermitteln. Diese Informationen können mithilfe von Kl- und maschinellen Lernlösungen (ML), die in der Cloud verarbeitet werden, genutzt werden, anstatt sie direkt auf den Geräten zu berechnen. Dies führt zu einer komplexen Entscheidung, ob bestimmte Funktionen auf dem Gerät oder in der Cloud ausgeführt werden sollten. Beide Ansätze haben jedoch potenzielle Nachteile: Die Berechnung in der Cloud erfordert den Zugriff auf Sensordaten, was die Datenübertragung und somit die Verarbeitung verlangsamen kann. Andererseits können Verkehrsszenarien so komplex sein, dass das lokal eingesetzte Modell an seine Grenzen stößt. Diese Herausforderungen erfordern eine ausgewogene Entscheidung, um optimale Leistung und Effizienz zu gewährleisten. Es ist eine Aufgabe der Erfindung, ein dahingehend verbessertes Verfahren und/oder eine dahingehend verbesserte Vorrichtung anzugeben. Die Aufgabe wird gelöst durch ein Verfahren gemäß den Merkmalen des Patentanspruchs 1. Die Aufgabe wird gelöst durch eine Vorrichtung gemäß den Merkmalen des Patentanspruchs 7. Offenbarung der Erfindung Gemäß einem ersten Aspekt wird ein Verfahren zum Online-Trainieren eines ersten maschinellen Lernmodells vorgeschlagen, das auf einem Steuergerät eines technischen Systems ausführbar ist, das Verfahren aufweisend die Schritte: Bereitstellen eines trainierten zweiten maschinellen Lernmodells, das auf einem Server ausführbar ist; Bereitstellen von Sensordaten eines Sensors des technischen Systems, auf deren Basis mittels des ersten maschinellen Lernmodells ein erster Ausgabewert generiert wird, auf dessen Basis eine erste Aktion für das technische System ausführbar ist; Speichern der Sensordaten, des ersten Ausgabewertes und der ersten Aktion in einem Speicher des Steuergerätes, vorzugsweise wenn ein vorbestimmtes Zeitkriterium erfüllt ist; Übermitteln der Sensordaten, vorzugsweise des ersten Ausgabewertes und vorzugsweise der ersten Aktion an den Server, wenn ein vorbestimmtes Speicherkriterium erfüllt ist; Generieren eines zweiten Ausgabewertes und einer auf dessen Basis ausführbaren zweiten Aktion auf Basis der übermittelten Sensordaten mittels des zweiten maschinellen Lernmodells; Übermitteln des zweiten Ausgabewertes und der zweiten Aktion an das Steuergerät zum Vergleichen der ersten Aktion mit der zweiten Aktion; und wenn der Vergleich der ersten Aktion mit der zweiten Aktion ein vorbestimmtes Vergleichskriterium erfüllt, Online-Trainieren des ersten maschinellen Lernmodells auf Basis der Sensordaten und des zweiten Ausgabewertes. Es versteht sich, dass die erfindungsgemäßen Schritte sowie weitere optionale Schritte nicht notwendigerweise in der aufgezeigten Reihenfolge ausgeführt werden müssen, sondern auch in einer anderen Reihenfolge ausgeführt werden können. Ferner können weitere Zwischenschritte vorgesehen sein. Die einzelnen Schritte können zudem einen oder mehrere Unterschritte umfassen, ohne dass hierdurch der Umfang des erfindungsgemäßen Verfahrens verlassen wird. Gemäß einem zweiten Aspekt wird ein System zum Online-Trainieren eines ersten maschinellen Lernmodells vorgeschlagen, wobei das erste maschinelle Lernmodell auf einem Steuergerät ausführbar ist, wobei das System einen Server und das mit dem Server kommunikativ verbundene Steuergerät aufweist, wobei der Server dazu eingerichtet ist, ein trainiertes zweites maschinelles Lernmodell auszuführen, wobei das System einen Sensor aufweist, der dazu ausgebildet ist, Sensordaten bereitzustellen, wobei das erste maschinelle Lernmodell dazu eingerichtet ist, auf Basis der Sensordaten einen ersten Ausgabewert zu generieren, auf dessen Basis eine erste Aktion für das System ausführbar ist; wobei das Steuergerät dazu eingerichtet ist, die Sensordaten, den ersten Ausgabewert und die erste Aktion in Abhängigkeit eines vorbestimmten Zeitkriteriums in einem Speicher des Steuergerätes zu speichern, und die Sensordaten, vorzugsweise den ersten Ausgabewert und vorzugsweise die erste Aktion an den Server in Abhängigkeit eines vorbestimmten Speicherkriteriums zu übermitteln; wobei das zweite maschinelle Lernmodell dazu eingerichtet ist, einen zweiten Ausgabewert und eine auf dessen Basis ausführbare zweite Aktion auf Basis der übermittelten Sensordaten zu generieren, wobei der Server dazu eingerichtet ist, den zweiten Ausgabewert und die zweite Aktion an das Steuergerät zum Vergleichen der ersten Aktion mit der zweiten Aktion zu übermitteln, und wobei das erste maschinelle Lernmodell in Abhängigkeit eines vorbestimmten Vergleichskriteriums des