DE-102025104003-B3 - Verfahren und Computer-Vision-System zur Kritikalitätsbewertung bei Objektklassifizierung

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zur Kritikalitätsbewertung in einem Computer-Vision-System, bei dem während eines Fahrbetriebes in fortgeführter Ausführung durch einen Sensor ein Bild (111) eines Fahrzeugvorfeldes aufgenommen wird, bei dem zur Ermittlung einer Kritikalitätsgrenze das Bild in N Bildbereiche aufgeteilt (120) wird, zu jedem der N Bildbereiche ein Shapley-Wert berechnet wird, entsprechend der Shapley-Wert die N Bildbereiche nach Wichtigkeit sortiert werden, beginnend mit einem in der Rangfolge wichtigsten Bildbereich schrittweise ein jeweilig nachrangiger Bildbereich entfernt wird (130) und zu einem jeweilig verbleibenden Restbild eine Klassifikation von Objekten durchgeführt wird. Dies wird solange wiederholt, bis zu einem i-ten Restbild die Klassifikation von Objekten kein Ergebnis liefert (140) und mit einem Teiler i/N und Mittelwertbildung über mehrere Bilder die Kritikalitätsgrenze gebildet wird. Während durch einen Test-Fahrbetrieb damit eine Standard-Kritikalitätsgrenze gebildet wird, wird während eines Standard-Fahrbetriebes in ständiger Ausführung eine aktuelle Kritikalitätsgrenze berechnet, und bei Unterschreiten der Standard-Kritikalitätsgrenze durch die aktuelle Kritikalitätsgrenze eine Sichteinschränkung des auf das Fahrzeugvorfeld gerichteten Sensors festgestellt, woraufhin eine Warnung auf einem Fahrer-Display angezeigt wird. Ferner wird ein Computer-Vision-System vorgestellt, welches das Verfahren umsetzt.

Inventors

• Tim Eberhardt

Assignees

• DR. ING. H.C. F. PORSCHE AKTIENGESELLSCHAFT

Dates

Publication Date

20260507

Application Date

20250204

Claims (10)

1. Verfahren zur Kritikalitätsbewertung in einem Computer-Vision-System, bei dem während eines Fahrbetriebes in fortgeführter Ausführung durch mindestens einen auf ein Fahrzeugvorfeld gerichteten Sensor ein jeweiliges Bild (111) eines Fahrzeugvorfeldes aufgenommen wird, bei dem zur Ermittlung einer Kritikalitätsgrenze • das jeweilige Bild (111) in jeweils N Bildbereiche aufgeteilt (120) wird, • zu jedem der N Bildbereiche ein Shapley-Wert berechnet wird, • entsprechend dem Shapley-Wert die N Bildbereiche nach Wichtigkeit in einer Rangfolge sortiert werden, • beginnend mit einem in der Rangfolge wichtigsten Bildbereich schrittweise ◯ ein jeweilig nachrangiger Bildbereich entfernt wird (130) und ◯ zu einem jeweilig verbleibenden Restbild eine Klassifikation von Objekten durchgeführt wird, was solange wiederholt wird, bis zu einem i-ten Restbild die Klassifikation von Objekten kein Ergebnis liefert (140), • ein Point-of-Interest-Wert mit einem Teiler i/N gebildet wird und abgespeichert wird, • voranstehend angeführte Schritte für mehrere Bilder (111) des mindestens einen Sensors iteriert werden, • ein Mittelwert über die Point-of-Interest-Werte berechnet wird, und • der Mittelwert als Kritikalitätsgrenze gesetzt wird, bei dem während eines Test-Fahrbetriebes mit der ermittelten Kritikalitätsgrenze eine Standard-Kritikalitätsgrenze gebildet wird, bei dem während eines Standard-Fahrbetriebes in ständiger Ausführung eine aktuelle Kritikalitätsgrenze berechnet wird, und bei dem bei Unterschreiten der Standard-Kritikalitätsgrenze durch die aktuelle Kritikalitätsgrenze um einen vorgegebenen Faktor eine Sichteinschränkung des auf das Fahrzeugvorfeld gerichteten Sensors festgestellt wird und eine Warnung, dass eine Beeinträchtigung des Computer-Vision-Systems vorliegt, auf einem Fahrerdisplay angezeigt wird.
2. Verfahren nach Anspruch 1 , bei dem die Aufteilung (120) in N Bildbereiche mittels eines karierten Rasters durchgeführt wird.
3. Verfahren nach Anspruch 2 , bei dem ein jeweiliger Bildbereich mit jeweilig benachbarten, das karierte Raster überlappenden Bildbereichen gebildet wird.
4. Verfahren nach einem der voranstehenden Ansprüche, bei dem der mindestens eine Sensor durch einen Sensor aus folgender Liste gebildet wird: Kamera, Lidar, Radar.
5. Verfahren nach einem der voranstehenden Ansprüche, bei dem nach einer vorausgegangenen Erkennung eines degradierten Bereichs (201) im jeweiligen Bild (111) des Fahrzeugvorfeldes mittels eines mit der Standard-Kritikalitätsgrenze gebildeten Limitationsfaktors ein kritischer Bereich (200) berechnet wird, wobei in dem kritischen Bereich (200) keine sichere Klassifizierung mehr möglich ist.
6. Computer-Vision-System, welches in einem Kraftfahrzeug angeordnet ist und eine Steuereinheit, eine Recheneinheit und mindestens einen auf ein Fahrzeugvorfeld gerichteten Sensor aufweist, wobei der mindestens eine Sensor dazu ausgestaltet ist, während eines Fahrbetriebes in fortgeführter Ausführung ein jeweiliges Bild (111) eines Fahrzeugvorfeldes aufzunehmen, wobei die Recheneinheit dazu konfiguriert ist, eine Kritikalitätsgrenze zu ermitteln, indem • das jeweilige Bild (111) in N Bildbereiche aufgeteilt (120) wird, • zu jedem der N Bildbereiche ein Shapley-Wert berechnet wird, • entsprechend dem Shapley-Wert die N Bildbereiche nach Wichtigkeit in einer Rangfolge sortiert werden, • beginnend mit einem in der Rangfolge wichtigsten Bildbereich schrittweise ◯ ein jeweilig nachrangiger Bildbereich entfernt wird (130) und ◯ zu einem jeweilig verbleibenden Restbild eine Klassifikation von Objekten durchgeführt wird, was solange wiederholt wird, bis zu einem i-ten Restbild die Klassifikation von Objekten kein Ergebnis liefert (140), • ein Point-of-Interest-Wert mit einem Teiler i/N gebildet wird und abgespeichert wird, • voranstehend angeführte Schritte für mehrere Bilder (111) des mindestens einen Sensors iteriert werden, • ein Mittelwert über die Point-of-Interest-Werte berechnet wird, und • der Mittelwert als Kritikalitätsgrenze gesetzt wird, wobei die Steuereinheit dazu ausgelegt ist, • während eines Test-Fahrbetriebes die Kritikalitätsgrenze zu ermitteln und damit eine Standard-Kritikalitätsgrenze zu bilden, • während eines Standard-Fahrbetriebes in ständiger Ausführung eine aktuelle Kritikalitätsgrenze zu berechnen und • im Falle eines Unterschreitens der Standard-Kritikalitätsgrenze durch die aktuelle Kritikalitätsgrenze um einen vorgegebenen Faktor eine Sichteinschränkung des auf das Fahrzeugvorfeld gerichteten Sensors festzustellen und eine Warnung, dass eine Beeinträchtigung des Computer-Vision-Systems vorliegt, auf einem Fahrerdisplay anzuzeigen.
7. Computer-Vision-System nach Anspruch 6 , wobei die Aufteilung (120) in N Bildbereiche mittels eines karierten Rasters durchgeführt ist.
8. Computer-Vision-System nach Anspruch 7 , wobei ein jeweiliger Bildbereich mit jeweilig benachbarten, das karierte Raster überlappenden Bildbereichen gebildet ist.
9. Computer-Vision-System nach einem der Ansprüche 6 bis 8 , wobei der mindestens eine Sensor durch einen Sensor aus folgender Liste gebildet ist: Kamera, Lidar, Radar.
10. Computer-Vision-System nach einem der Ansprüche 6 bis 9 , wobei die Recheneinheit dazu konfiguriert ist, nach einer vorausgegangenen Erkennung eines degradierten Bereichs (201) im jeweiligen Bild (111) des Fahrzeugvorfeldes mittels eines mit der Standard-Kritikalitätsgrenze gebildeten Limitationsfaktors einen kritischen Bereich (200) zu berechnen, wobei in dem kritischen Bereich (200) keine sichere Klassifizierung mehr möglich ist.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Kritikalitätsbewertung eines Computer-Vision-Systems, welches auf eine Objektklassifizierung in einem Fahrzeugvorfeld ausgerichtet ist. Ferner wird ein Computer-Vision-System vorgestellt, welches das Verfahren umsetzt. Bei einer Validierung eines in einem Kraftfahrzeug zur Unterstützung eines Fahrbetriebes durch ein Fahrerassistenzsystem (ADAS) und/oder ein automatisiertes Fahrsystem (ADS) eingesetzten Computer-Vision-Systems stellt eine Blockierung von verschiedenen Bildbereichen durch bspw. Sensorik Kontaminierungen oder anderen Einwirkungen, die bspw. zu einer Nichterkennung von Rückfahrlichtern oder Felgen eines anderen Fahrzeugs führen, unterschiedliche Sicherheitsrisiken dar. Die Druckschrift US 2021 / 0 042 613 A1 beschreibt die Berechnung von Shapley-Werten, um die Beiträge einzelner Eingabepunkte zu den Ausgaben eines trainierten neuronalen Netzwerks zu quantifizieren. Es wird ein probabilistisches neuronales Netzwerk verwendet, das aus dem trainierten Netzwerk abgeleitet ist, um die Verteilung der Ausgaben zu berechnen. Auf dieser Grundlage werden die Shapley-Werte geschätzt. In der Druckschrift DE 11 2021 001 872 T5 wird ein System zur Erkennung von Objekten erörtert, das Bildinformationen und Entfernungsinformationen verwendet, um die Erkennungsgenauigkeit zu verbessern. Es wird eine Erkennungsverarbeitung beschrieben, bei der Bild- und Entfernungsinformationen integriert werden, um ein Zielobjekt zu erkennen. Dabei wird auch die Bedeutung verschiedener Bildbereiche analysiert, indem Shapley-Werte verwendet werden, um die Regionen zu identifizieren, die am stärksten zur korrekten Erkennung beitragen. Die Druckschrift DE 11 2021 000 596 T5 beschreibt eine Technik zur Interpretation der Ergebnisse eines Objekterkennungsmodells, bei der Bildbereiche geometrisch in Segmente unterteilt werden, um durch die Berechnung von Shapley-Werten den Beitrag jedes Segments zur Erkennung zu berechnen. Diese Shapley-Werte werden verwendet, um die Bedeutung einzelner Bildsegmente zu bewerten, was eine Grundlage für die Bestimmung kritischer Bildbereiche darstellt. Die Druckschrift „YANG, Qing, et al. MFPP: Morphological fragmental perturbation pyramid for black-box model explanations. In: 2020 25th International conference on pattern recognition (ICPR). IEEE, 2021. S. 1376-1383“ setzt ein Verfahren mit einer morphologischen fragmentarischen Störungspyramide ein, um zu einem Verständnis von Black-Box-Modellen zu gelangen. Dabei wird in 3 eine graduelle Wichtigkeitsgewichtung eines Bildes gezeigt. Die Druckschrift „PONN, Thomas; KRÖGER, Thomas; DIERMEYER, Frank. Identification and explanation of challenging conditions for camera-based object detection of automated vehicles. Sensors, 2020, 20. Jg., Nr. 13, S. 3699“ bespricht eine Identifizierung und Vorgangsanalyse bei der kamerabasierten Objekterkennung von automatisierten Fahrzeugen unter schwierigen Bedingungen. Dabei wird in 8 eine Verwendung von Shapley-Beiträgen bei der Objekterkennung gezeigt. Die DE 10 2021 005 387 A1 offenbart ein Verfahren zur Ausgabe einer Warnung bei einem in einem Sichtfeld einer Umgebungskamera eines Fahrzeugs erkannten und eine Weiterfahrt blockierenden Objektes. Dabei werden bei Berechnungen zu einer Kreuzkorrelation zwischen Bildern der Umgebungskamera ein jeweiliges Bild in eine Interessensregion und einen Verwerfungsbereich unterteilt und zur Durchführung der Kreuzkorrelation lediglich der Bildinhalt der Interessensregion herangezogen. Vor diesem Hintergrund ist es eine Aufgabe der vorliegenden Erfindung, ein Verfahren zur Kritikalitätsbewertung in einem Computer-Vision-System vorzuschlagen, bei dem ein von einer Kamera bereitgestelltes Bild in seinen Bildbereichen bzgl. einer Erkennbarkeit von Objekten beurteilt wird. Die Kritikalität ist hierbei ein Maß, ab welcher Zahl an blockierten bzw. nicht analysierbaren Bildbereichen in dem Bild keine Erkennbarkeit von Objekten mehr möglich ist. Ferner soll eine Vorrichtung vorgestellt werden, welche das Verfahren umsetzt. Zur Lösung der voranstehend genannten Aufgabe wird ein Verfahren zur Kritikalitätsbewertung in einem Computer-Vision-System vorgeschlagen, bei dem während eines Fahrbetriebes in fortgeführter Ausführung durch mindestens einen auf ein Fahrzeugvorfeld gerichteten Sensor ein jeweiliges Bild eines Fahrzeugvorfeldes aufgenommen wird, bei dem zur Ermittlung einer Kritikalitätsgrenze• das jeweilige Bild in N Bildbereiche aufgeteilt wird,• zu jedem der N Bildbereiche ein Shapley-Wert berechnet wird,• entsprechend dem Shapley-Wert die N Bildbereiche nach Wichtigkeit in einer Rangfolge sortiert werden,• beginnend mit einem in der Rangfolge wichtigsten Bildbereich schrittweise◯ ein jeweilig nachrangiger Bildbereich entfernt wird und◯ zu einem jeweilig verbleibenden Restbild eine Klassifikation von Objekten durchgeführt wird,was solange wiederholt wird, bis zu einem i-ten Restbild die Klassifikation von Objekten kein Ergebnis lief