DE-102025143707-A1 - SYSTEME UND VERFAHREN ZUR FAHRZEUGSENSORKALIBRIERUNG IN EINER FAHRZEUGMONTAGEUMGEBUNG

DE102025143707A1DE 102025143707 A1DE102025143707 A1DE 102025143707A1DE-102025143707-A1

Abstract

Ein Verfahren beinhaltet Empfangen von Erkennungsdaten und Daten einer Trägheitsmesseinheit (IMU) von einem Fahrzeug, während das Fahrzeug eine Teststrecke durchfährt, wobei die Erkennungsdaten Lidarerkennungen, Kameraerkennungen und Radarerkennungen durch einen oder mehrere Sensoren des Fahrzeugs entsprechen und die IMU-Daten einer Bestimmung einer oder mehrerer Bewegungseinschränkungen von dem einen oder den mehreren Sensoren und einer IMU und einer Bestimmung einer oder mehrerer Einschränkungen zwischen der IMU und dem Fahrzeug entsprechen. Eine Vielzahl von Zielen ist in Bezug auf die Teststrecke angeordnet und weist eine Vielzahl von Kalibrierungselementen auf, die dazu konfiguriert ist, eine Erkennung durch den einen oder die mehreren Sensoren des Fahrzeugs zu ermöglichen. Das Verfahren beinhaltet ferner Verarbeiten der empfangenen Erkennungsdaten und IMU-Daten unter Verwendung eines Kalibrierungsalgorithmus und Erzeugen eines oder mehrerer Kalibrierungsparameter für den einen oder die mehreren Sensoren des Fahrzeugs auf Grundlage der Verarbeitung.

Inventors

Parul Kothari
Elizabeth Murphy
Khalid Yousif
Larry Lenkin
Quan Zhou
Sean Williams

Assignees

FORD GLOBAL TECHNOLOGIES, LLC

Dates

Publication Date: 20260507
Application Date: 20251024
Priority Date: 20241101

Claims (15)

System, umfassend: eine Vielzahl von Zielen, die in Bezug auf eine Teststrecke angeordnet ist, wobei die Vielzahl von Zielen als Multisensorziele konfiguriert ist, wobei jedes Ziel der Vielzahl von Zielen eine Vielzahl von Kalibrierungselementen aufweist, die dazu konfiguriert ist, eine Erkennung durch einen oder mehrere Sensoren eines Fahrzeugs zu ermöglichen, wobei die Vielzahl von Erkennungselementen ein oder mehrere Elemente, die zur Lidarerkennung konfiguriert sind, ein oder mehrere Elemente, die zur Kameraerkennung konfiguriert sind, und ein oder mehrere Elemente, die zur Radarerkennung konfiguriert sind, beinhaltet, wobei die Teststrecke dazu konfiguriert ist, es dem Fahrzeug zu ermöglichen, die Teststrecke zwischen der Vielzahl von Zielen zu durchfahren, um die Vielzahl von Erkennungselementen zu erkennen, und wobei die Teststrecke dazu konfiguriert ist, eine Bestimmung einer oder mehrerer Bewegungseinschränkungen von dem einen oder den mehreren Sensoren und einer Trägheitsmesseinheit (IMU) und eine Bestimmung einer oder mehrerer Einschränkungen zwischen der IMU und dem Fahrzeug zu ermöglichen, um IMU-Daten zu erzeugen; und ein Kalibrierungssystem, das konfiguriert ist zum: Empfangen von Erkennungsdaten und der IMU-Daten von dem Fahrzeug, während das Fahrzeug die Teststrecke durchfährt, wobei die Erkennungsdaten Lidarerkennungen durch den einen oder die mehreren Sensoren des Fahrzeugs, Kameraerkennungen durch den einen oder die mehreren Sensoren des Fahrzeugs und Radarerkennungen durch den einen oder die mehreren Sensoren des Fahrzeugs entsprechen; Verarbeiten der empfangenen Erkennungsdaten und der IMU-Daten unter Verwendung eines Kalibrierungsalgorithmus; und Erzeugen eines oder mehrerer Kalibrierungsparameter für den einen oder die mehreren Sensoren des Fahrzeugs auf Grundlage der Verarbeitung.
System nach Anspruch 1 , wobei das Kalibrierungssystem ferner dazu konfiguriert ist, den einen oder die mehreren Kalibrierungsparameter zu verwenden, um eine gültige L3-Kalibrierung des einen oder der mehreren Sensoren des Fahrzeugs zu erzeugen, wodurch ein autonomer L3-Betrieb des Fahrzeugs ermöglicht wird.
System nach Anspruch 2 , wobei ein Abstand zwischen einem oder mehreren Zielen der Vielzahl von Zielen anders als ein Abstand zwischen einem oder mehreren anderen Zielen der Vielzahl von Zielen ist und eine Orientierung eines oder mehrerer der Ziele der Vielzahl von Zielen anders als eine Orientierung eines oder mehrerer anderer Ziele der Vielzahl von Zielen ist, wobei der Abstand und die Orientierung dazu konfiguriert sind, eine Sammlung von Daten durch den einen oder die mehreren Sensoren des Fahrzeugs zu ermöglichen, um die gültige L3-Kalibrierung zu ermöglichen.
System nach Anspruch 3 , wobei ein oder mehrere Ziele der Vielzahl von Zielen entlang einer ersten Seite der Teststrecke positioniert sind und ein oder mehrere Ziele der Vielzahl von Zielen auf einer zweiten Seite der Teststrecke positioniert sind, wobei sich die erste Seite der Teststrecke auf einer gegenüberliegenden Seite zu der zweiten Seite der Teststrecke im Verhältnis zu dem Fahrzeug befindet, das zwischen der Vielzahl von Zielen durchfährt.
System nach Anspruch 1 , wobei die Vielzahl von Zielen doppelseitig ist und eine erste Seite und eine zweite Seite gegenüber der ersten Seite aufweist, wobei ein erster Satz von Kalibrierungselementen auf der ersten Seite anders als ein zweiter Satz von Kalibrierungselementen auf der zweiten Seite ist und wobei der erste Satz von Kalibrierungselementen zur Erkennung durch einen oder mehrere Sensoren des Fahrzeugs konfiguriert ist, die nach vorn gerichtet sind, und der zweite Satz von Kalibrierungselementen zur Erkennung durch einen oder mehrere Sensoren des Fahrzeugs konfiguriert ist, die nach hinten gerichtet sind.
System nach Anspruch 1 , wobei das eine oder die mehreren Elemente, die zur Lidarerkennung konfiguriert sind, eine oder mehrere Aussparungen umfassen, das eine oder die mehreren Elemente, die zur Kameraerkennung konfiguriert sind, eine oder mehrere visuelle Markierungen umfassen und das eine oder die mehreren Elemente, die zur Radarerkennung konfiguriert sind, ein oder mehrere Radarziele als Winkelreflektoren umfassen.
System nach Anspruch 6 , wobei die eine oder die mehreren Aussparungen, die eine oder die mehreren visuellen Markierungen und das eine oder die mehreren Radarziele auf mindestens einer Fläche der Vielzahl von Zielen angeordnet sind, um eine Sammlung von Erkennungsdaten durch den einen oder die mehreren Sensoren des Fahrzeugs zur L3-Kalibrierung zu ermöglichen.
System nach Anspruch 6 , wobei die eine oder die mehreren Aussparungen an einem Mittelabschnitt der Vielzahl von Zielen angeordnet sind, die eine oder die mehreren visuellen Markierungen entlang eines oberen Abschnitts, des Mittelabschnitts und eines unteren Abschnitts der Vielzahl von Zielen angeordnet sind und das eine oder die mehreren Radarziele an einem unteren Abschnitt der Vielzahl von Zielen angeordnet sind.
System nach Anspruch 6 , wobei die eine oder die mehreren Aussparungen vier Aussparungen umfassen, die in einer symmetrischen Konfiguration angeordnet sind, die eine gleichmäßig beabstandete quadratische Konfiguration an einem Mittelabschnitt der Vielzahl von Zielen bildet, die eine oder die mehreren visuellen Markierungen sechzehn visuelle Markierungen umfassen, die als visuelle Bezugsmarker konfiguriert sind, wobei sechs der visuellen Markierungen in einer symmetrischen rechteckigen Konfiguration an einem oberen Abschnitt der Vielzahl von Zielen angeordnet sind, vier der visuellen Markierungen in einer Rautenkonfiguration an dem Mittelabschnitt der Vielzahl von Zielen mit einer visuellen Markierung in einer Mitte der Rautenkonfiguration angeordnet sind und fünf der visuellen Markierungen in einer U-förmigen Konfiguration an einem unteren Abschnitt der Vielzahl von Zielen angeordnet sind, wobei jede visuelle Markierung ein anderes visuelles Bezugsmuster als andere visuelle Markierungen aufweist und das eine oder die mehreren Radarziele ein Radarziel umfassen, das an dem unteren Abschnitt der Vielzahl von Zielen innerhalb der U-förmigen Konfiguration der visuellen Markierungen positioniert ist.
System nach Anspruch 1 , wobei ein oder mehrere Ziele der Vielzahl von Zielen bewegliche Ziele im Verhältnis zu der Teststrecke sind und ein oder mehrere Ziele der Vielzahl von Zielen feststehende Ziele und unbeweglich in Bezug auf die Teststrecke sind.
System nach Anspruch 1 , wobei das Kalibrierungssystem ferner dazu konfiguriert ist, die empfangenen Erkennungsdaten unter Verwendung einer Optimierung zu verarbeiten, um eine Vielzahl von Parametern zu schätzen, die eine Vielzahl von Fahrzeugzuständen bei jedem von einer Vielzahl von Schlüsselbildzeitstempeln, eine Vielzahl von Lagen der Vielzahl von Zielen und eine Vielzahl von extrinsischen Kalibrierungen beinhaltet.
System nach Anspruch 11 , wobei eine Vielzahl von Einschränkungen bei der Optimierung verwendet wird, wobei die Vielzahl von Einschränkungen Sensorfaktoren beinhaltet.
System nach Anspruch 1 , wobei der Kalibrierungsalgorithmus dazu konfiguriert ist, ein nichtlineares Optimierungsproblem der kleinsten Quadrate unter Verwendung einer Vielzahl von Kostenfunktionen zu optimieren, die sich auf 3D-2D-Reprojektionsfehler aus Kamerazielerkennung, Fehler aus Lidar- und Radarzielerkennung, 6D-6D-Fehler aus Sensorodometrien, ein kinematisches Fahrzeugmodell und vorherige Informationen als CAD-Werte beziehen.
System nach Anspruch 1 , wobei das Kalibrierungssystem ferner dazu konfiguriert ist, Erkennungsdaten von dem Fahrzeug zu empfangen, während das Fahrzeug an einer Vielzahl von Punkten entlang der Teststrecke gestoppt wird, und wobei eine Position jedes der Punkte und ein Zeitraum, in dem das Fahrzeug an jedem Punkt der Vielzahl von Punkten stoppt, definiert sind.
Verfahren, umfassend: Empfangen von Erkennungsdaten von einem Fahrzeug, während das Fahrzeug eine Teststrecke durchfährt, wobei die Erkennungsdaten Lidarerkennungen durch einen oder mehrere Sensoren des Fahrzeugs, Kameraerkennungen durch einen oder mehrere Sensoren des Fahrzeugs und Radarerkennungen durch einen oder mehrere Sensoren des Fahrzeugs entsprechen, wobei eine Vielzahl von Zielen in Bezug auf die Teststrecke angeordnet ist, wobei die Vielzahl von Zielen als Multisensorziele konfiguriert ist, wobei jedes Ziel der Vielzahl von Zielen eine Vielzahl von Kalibrierungselementen aufweist, die dazu konfiguriert ist, eine Erkennung durch den einen oder die mehreren Sensoren des Fahrzeugs zu ermöglichen, und wobei die Teststrecke dazu konfiguriert ist, eine Bestimmung einer oder mehrerer Bewegungseinschränkungen von dem einen oder den mehreren Sensoren und einer Trägheitsmesseinheit (IMU) und eine Bestimmung einer oder mehrerer Einschränkungen zwischen der IMU und dem Fahrzeug zu ermöglichen, um IMU-Daten zu erzeugen; Verarbeiten, durch einen Prozessor, der empfangenen Erkennungsdaten und IMU-Daten unter Verwendung eines Kalibrierungsalgorithmus; und Erzeugen, durch den Prozessor, eines oder mehrerer Kalibrierungsparameter für den einen oder die mehreren Sensoren des Fahrzeugs auf Grundlage der Verarbeitung.

Description

GEBIET DER TECHNIK Die vorliegende Offenbarung betrifft Kalibrieren von Sensoren eines Fahrzeugs. Insbesondere betrifft die vorliegende Offenbarung Kalibrieren von Fahrzeugsensoren eines Fahrzeugs, das autonome Betriebsfähigkeiten aufweist. ALLGEMEINER STAND DER TECHNIK Die Aussagen in diesem Abschnitt stellen lediglich Hintergrundinformationen in Bezug auf die vorliegende Offenbarung bereit und stellen möglicherweise nicht den Stand der Technik dar. Eine Fahrzeugherstellungsumgebung kann eine oder mehrere End-of-Line(EOL)-Teststationen beinhalten, die dazu konfiguriert sind, die Funktionalität verschiedener Komponenten eines Fahrzeugs zu kalibrieren und zu verifizieren. Als ein Beispiel kann eine Sensorkalibrierungs-EOL-Station einen oder mehrere Sensoren des Fahrzeugs kalibrieren, nachdem das Fahrzeug montiert wurde. Beispielsweise kann eine Kamerakalibrierungs-EOL-Station eine nach vorn gerichtete Kamera des Fahrzeugs kalibrieren. Die Kalibrierungs-EOL-Stationen sind jedoch nicht in der Lage, sämtliche Sensoren des Fahrzeugs zu kalibrieren, um einen autonomen Fahrbetrieb der Stufe 3 (L3) bei Auslieferung des Fahrzeugs zu ermöglichen. Das heißt, zusätzlich zur Werkskalibrierung wird eine zusätzliche Kalibrierung durchgeführt, nachdem das Fahrzeug den Endmontagebetrieb verlassen hat, um die Sensoren zu kalibrieren, sodass L3-Fahrzeugautonomie möglich ist. Diese Probleme im Zusammenhang mit der Werkskalibrierung werden neben anderen Problemen durch die vorliegende Offenbarung berücksichtigt. KURZDARSTELLUNG Dieser Abschnitt stellt eine allgemeine Kurzdarstellung der Offenbarung bereit und ist keine umfassende Offenbarung ihres vollständigen Umfangs oder all ihrer Merkmale. Die vorliegende Offenbarung stellt ein System bereit, umfassend: eine Vielzahl von Zielen, die in Bezug auf einer Teststrecke angeordnet ist, wobei die Vielzahl von Zielen als Multisensorziele konfiguriert ist, wobei jedes Ziel der Vielzahl von Zielen eine Vielzahl von Kalibrierungselementen aufweist, die dazu konfiguriert ist, eine Erkennung durch einen oder mehrere Sensoren des Fahrzeugs zu ermöglichen, wobei die Vielzahl von Erkennungselementen ein oder mehrere Elemente, die zur Lidarerkennung konfiguriert sind, ein oder mehrere Elemente, die zur Kameraerkennung konfiguriert sind, und ein oder mehrere Elemente, die zur Radarerkennung konfiguriert sind, beinhaltet, wobei die Teststrecke dazu konfiguriert ist, es einem Fahrzeug zu ermöglichen, die Teststrecke zwischen der Vielzahl von Zielen zu durchfahren, um die Vielzahl von Erkennungselementen zu erkennen; und ein Kalibrierungssystem, das konfiguriert ist zum: Empfangen von Erkennungsdaten von dem Fahrzeug, während das Fahrzeug die Teststrecke durchfährt, wobei die Erkennungsdaten Lidarerkennungen durch den einen oder die mehreren Sensoren des Fahrzeugs, Kameraerkennungen durch den einen oder die mehreren Sensoren des Fahrzeugs und Radarerkennungen durch den einen oder die mehreren Sensoren des Fahrzeugs entsprechen; Verarbeiten der empfangenen Erkennungsdaten unter Verwendung eines Kalibrierungsalgorithmus; und Erzeugen eines oder mehrerer Kalibrierungsparameter für den einen oder die mehreren Sensoren des Fahrzeugs auf Grundlage der Verarbeitung; wobei das Kalibrierungssystem ferner dazu konfiguriert ist, den einen oder die mehreren Kalibrierungsparameter zu verwenden, um eine gültige L3-Kalibrierung des einen oder der mehreren Sensoren des Fahrzeugs zu erzeugen, wodurch ein autonomer L3-Betrieb des Fahrzeugs ermöglicht wird; wobei ein Abstand zwischen einem oder mehreren Zielen der Vielzahl von Zielen anders als ein Abstand zwischen einem oder mehreren anderen Zielen der Vielzahl von Zielen ist und eine Orientierung eines oder mehrerer Ziele der Vielzahl von Zielen anders als eine Orientierung eines oder mehrerer anderer Ziele der Vielzahl von Zielen ist, wobei der Abstand und die Orientierung so konfiguriert sind, dass sie eine Sammlung von Daten durch den einen oder die mehreren Sensoren des Fahrzeugs ermöglichen, um die gültige L3-Kalibrierung zu ermöglichen; wobei ein oder mehrere Ziele der Vielzahl von Zielen entlang einer ersten Seite der Teststrecke positioniert sind und ein oder mehrere Ziele der Vielzahl von Zielen auf einer zweiten Seite der Teststrecke positioniert sind, wobei sich die erste Seite der Teststrecke auf einer gegenüberliegenden Seite zu der zweiten Seite der Teststrecke im Verhältnis zu dem Fahrzeug befindet, das zwischen der Vielzahl von Zielen durchfährt; wobei die Vielzahl von Zielen doppelseitig ist und eine erste Seite und eine zweite Seite gegenüber der ersten Seite aufweist, wobei ein erster Satz von Kalibrierungselementen auf der ersten Seite anders als ein zweiter Satz von Kalibrierungselementen auf der zweiten Seite ist und wobei der erste Satz von Kalibrierungselementen zur Erkennung durch einen oder mehrere Sensoren des Fahrzeugs konfiguriert ist, die nach vorn gerichtet sind, und der zweite Satz von Kalibrierungselementen zur Erkennung durch ei