DE-102022211512-B4 - VERBESSERUNGEN IN EINEM UMSCHALTENDEN REKURRENTEN KALMAN-NETZ

Abstract

Computerimplementiertes Verfahren zum Steuern einer Vorrichtung, das Folgendes umfasst: Empfangen von Daten x t von einem Sensor; Codieren der Daten x t über Parameter eines Codierers (102), um eine latente Beobachtung w t , für die Daten x t und einen Unsicherheitsvektor σ w t für die latente Beobachtung w t zu erhalten; Verarbeiten der latenten Beobachtung w t mit einem rekurrenten neuronalen Netz, um eine Umschaltvariable s t , die die Gewichte α t eines lokal linearen Kalman-Filters bestimmt, zu erhalten; Verarbeiten der latenten Beobachtung w t und des Unsicherheitsvektors σ w t mit dem lokal linearen Kalman-Filter, um aktualisierte Mittelwerte µ z t einer latenten Repräsentation z t des Kalman-Filters und Kovarianzen Σ z t der latenten Repräsentation z t des Kalman-Filters zu erhalten; Decodieren der latenten Repräsentation z t des Kalman-Filters, um einen Mittelwert, µ x t , und eine Kovarianz Σ x t einer Rekonstruktion der Daten x t zu erhalten; Ausgeben der Rekonstruktion der Daten x t zu einer Zeit t; und Steuern der Vorrichtung basierend auf der Rekonstruktion der Daten x t .

Inventors

• Chen Qiu
• Giao Nguyen
• Maja RUDOLPH
• Phillip Becker
• Gerhard Neumann

Assignees

• Robert Bosch Gesellschaft mit beschränkter Haftung

Dates

Publication Date

20260507

Application Date

20221031

Priority Date

20211101

Claims (10)

1. Computerimplementiertes Verfahren zum Steuern einer Vorrichtung, das Folgendes umfasst: Empfangen von Daten x t von einem Sensor; Codieren der Daten x t über Parameter eines Codierers (102), um eine latente Beobachtung w t , für die Daten x t und einen Unsicherheitsvektor σ w t für die latente Beobachtung w t zu erhalten; Verarbeiten der latenten Beobachtung w t mit einem rekurrenten neuronalen Netz, um eine Umschaltvariable s t , die die Gewichte α t eines lokal linearen Kalman-Filters bestimmt, zu erhalten; Verarbeiten der latenten Beobachtung w t und des Unsicherheitsvektors σ w t mit dem lokal linearen Kalman-Filter, um aktualisierte Mittelwerte µ z t einer latenten Repräsentation z t des Kalman-Filters und Kovarianzen Σ z t der latenten Repräsentation z t des Kalman-Filters zu erhalten; Decodieren der latenten Repräsentation z t des Kalman-Filters, um einen Mittelwert, µ x t , und eine Kovarianz Σ x t einer Rekonstruktion der Daten x t zu erhalten; Ausgeben der Rekonstruktion der Daten x t zu einer Zeit t; und Steuern der Vorrichtung basierend auf der Rekonstruktion der Daten x t .
2. Computerimplementiertes Verfahren nach Anspruch 1 , wobei die Gewichte α t des lokal linearen Kalman-Filters eine Funktion der Umschaltvariablen s t sind.
3. Computerimplementiertes Verfahren nach Anspruch 2 , wobei für die Gewichte α t des lokal linearen Kalman-Filters die folgenden Beziehungen gelten: A t = ∑ k = 1 K α t ( k ) A ( k ) ; α t = ( α t ( 1 ) ,...., α t ( K ) ) = s o f t m a x ( s t ) ; ∑ k = 1 K α t ( k ) = 1 ; α t ( k ) ≥ 0, wobei A t eine Übergangsmatrix bezeichnet, die zu jeder Zeit eine gewichtete Summe von K Übergangsbasismatrizen A (k) mit 1 ≤ k ≤ K ist, wobei die Gewichte α t durch die Softmax-Funktion der Umschaltvariablen s t gegeben sind.
4. Computerimplementiertes Verfahren nach Anspruch 3 , wobei eine Vorhersageverteilung p(z t |s t ,z t-1 ) für die latente Repräsentation z t des Kalman-Filters zur Zeit t eine Funktion N eines Mittelwerts μ z t − einer latenten Repräsentation z t − des Kalman-Filters vor einer Kalman-Aktualisierung und einer Kovarianz ∑ z t − der latenten Repräsentation z t − des Kalman-Filters vor der Kalman-Aktualisierung ist, die ausgedrückt wird durch p ( z t | s t , z t − 1 ) = N ( μ z t − , ∑ z t − ) mit μ z t − = A t μ z t − 1 + und ∑ z t − = A t Σ z t − 1 + A t T + I σ , wobei μ z t − 1 + einen Mittelwert einer vorhergehenden latenten Repräsentation z t − 1 + des Kalman-Filters nach einer Kalman-Aktualisierung, ∑ z t − 1 + eine Kovarianz der vorhergehenden latenten Repräsentation z t − 1 + des Kalman-Filters nach der Kalman-Aktualisierung und I eine Einheitsmatrix bezeichnen.
5. Computerimplementiertes Verfahren nach Anspruch 1 , wobei die Daten x t Zeitreihendaten sind und der Sensor ein optischer Sensor, ein Kraftfahrzeugsensor oder ein akustischer Sensor ist.
6. Computerimplementiertes Verfahren nach Anspruch 5 , wobei die Daten x t Bilddaten sind.
7. Computerimplementiertes Verfahren nach Anspruch 6 , wobei das Steuern der Vorrichtung basierend auf der Rekonstruktion ein Steuern einer Beschleunigung und einer Verzögerung der Vorrichtung umfasst.
8. Vorrichtungssteuersystem, das Folgendes umfasst: eine Steuereinheit, die konfiguriert ist zum Durchführen des computerimplementierten Verfahrens nach irgendeinem der Ansprüche 1 bis 7 .
9. Vorrichtung, das Folgendes umfasst: den Sensor; und das Vorrichtungssteuersystem nach Anspruch 8 .
10. Vorrichtung nach Anspruch 9 , wobei die Vorrichtung ein Fahrzeug, eine Fertigungsmaschine, ein Elektrowerkzeug, ein automatisierter persönlicher Assistenten, ein Überwachungssystem oder ein System zur medizinischen Bildgebung ist.

Description

Technisches Gebiet Diese Offenbarung bezieht sich allgemein auf ein System und ein Verfahren zum Schätzen unbekannter Variablen anhand von Messungen, die im Laufe der Zeit in einem System zum maschinellen Lernen beobachtet werden. Hintergrund Eine lineare quadratische Schätzung (LQE), die gewöhnlich als Kalman-Filter bezeichnet wird, ist ein Algorithmus, der Schätzungen unbekannter Variablen basierend auf einer Reihe von im Laufe der Zeit beobachteten Messungen produziert. Die im Laufe der Zeit beobachteten Messungen können Rauschen und andere Ungenauigkeiten enthalten, so dass die Schätzungen der unbekannten Variablen genauer sein können als diejenigen, die nur auf einer einzigen Messung basieren, da die Schätzung eine gemeinsame Wahrscheinlichkeitsverteilung über die Variablen für jeden Zeitrahmen enthält. DE 11 2022 004 057 T5 offenbart ein computer-implementiertes Verfahren, das ein kontinuierliches diskretes rekurrentes Kalman-Netzwerks nutzt, wobei das Verfahren umfasst: Empfangen, an einem Encoder, einer Eingabe von einem oder mehreren Sensoren, wobei die Eingabe eine oder mehrere Zeitreihendaten aufweist, die Daten an einem oder mehreren Zeitpunkten assoziieren; Ausgeben, an ein Kalman-Filter, einer latenten Beobachtung und einer Unsicherheitsschätzung als Reaktion auf die Eingabe an dem Encoder; Bestimmen eines latenten A-priori-Zustands und eines latenten A-posteriori-Zustands unter Verwendung des Kalman-Filters; und Ausgebe, über einen Decoder, einer gefilterten Beobachtung, die zumindest den latenten A-posteriori-Zustand nutzt. Becker, P., Pandya, H., Gebhardt, G., Zhao, Ch., Taylor, C. J., und Neumann G, Proceedings of the 36th International Conference on Machine Learning, PMLR 97:544-552, 2019 schlagen einen neuen tiefen Ansatz für die Kalman-Filterung vor, der direkt auf End-zu-End-Basis mithilfe von Backpropagation gelernt wird. Der Ansatz verwendet eine hochdimensionale faktorisierte latente Zustandsdarstellung, für die die Kalman-Aktualisierungen zu Skalaroperationen vereinfacht werden, um schwer zu propagierende, rechenintensive und potenziell instabile Matrixinversionen zu vermeiden. Lokal lineare dynamische Modelle werden verwendet, um den latenten Zustand auf den nächsten Zeitschritt zu übertragen. Shaj, V., Becker, P., Büchler, D., Pandya, H., van Duijkeren, N., Taylor, C. J., Hanheide, M. und Neumann, G., Proceedings of the 2020 Conference on Robot Learning, PMLR 155:765-781, 2021 verwenden eine probabilistische rekurrenten neuronalen Netzwerkarchitektur namens Recurrent Kalman Networks, um ein Lernen zu modellieren. Zwei Architekturen sind vorgestellt, eine für das Vorwärtsmodell-Lernen und eine für das Inversmodell-Lernen. DE 11 2021 000 422 T5 betrifft die Vorhersage künftiger Trajektorien in Umgebungen mit mehreren Aktoren für autonome Maschinenanwendungen. Es werden Systeme und Verfahren offenbart, die zuvor verfolgte Aktor-Positionen und Karteninformation nutzen, um unter Verwendung eines tiefen neuronalen Netzes wie etwa eines rekurrenten neuronalen Netzes künftige Positionen der Aktoren vorherzusagen. Zusätzlich zu früheren Positionen und Karteninformation können Wartebedingungen, Freiraum-Grenzinformation und/oder andere Umgebungsinformation vom System genutzt werden, um genaue und zuverlässige Vorhersagen künftiger Aktor-Positionen zu berechnen. Zusammenfassung Die Erfindung ist durch die unabhängigen Ansprüche definiert. Die abhängigen Ansprüche definieren vorteilhafte Ausführungsformen. Ein Verfahren zum Steuern einer Vorrichtung enthält das Empfangen von Daten von einem ersten Sensor, das Codieren der Daten über Parameter eines Codierers, um eine latente Beobachtung (wt) für die Daten und einen Unsicherheitsvektor (σwt) für die latente Beobachtung zu erhalten, das Verarbeiten der latenten Beobachtung mit einem rekurrenten neuronalen Netz, um eine Umschaltvariable (st), die Gewichte (αt) eines lokal linearen Kalman-Filters bestimmt, zu erhalten, das Verarbeiten der latenten Beobachtung und des Unsicherheitsvektors mit dem lokal linearen Kalman-Filter, um einen aktualisierten Mittelwert der latenten Repräsentation (µZt) und eine Kovarianz der latenten Repräsentation (ΣZt) des Kalman-Filters zu erhalten, das Decodieren der latenten Repräsentation, um einen Mittelwert (µXt) und eine Kovarianz (ΣXt) einer Rekonstruktion der Daten zu erhalten, und das Ausgeben der Rekonstruktion zu einer Zeit t. Ein Vorrichtungssteuersystem enthält eine Steuereinheit. Die Steuereinheit kann konfiguriert sein zum Empfangen von Daten von einem ersten Sensor, Codieren der Daten über Parameter eines Codierers, um eine latente Beobachtung (wt) für die Daten und einen Unsicherheitsvektor (σwt) für die latente Beobachtung zu erhalten, Verarbeiten der latenten Beobachtung mit einem rekurrenten neuronalen Netz, um eine Umschaltvariable (st), die Gewichte (αt) eines lokal linearen Kalman-Filters bestimmt, zu erhalten, Verarbeiten der latenten Beobachtung und des Unsicherheitsvektors mit dem lokal linear