Search

EP-4025460-B1 - DISPLAY OF A VEHICLE ENVIRONMENT FOR MOVING THE VEHICLE TO A TARGET POSITION

EP4025460B1EP 4025460 B1EP4025460 B1EP 4025460B1EP-4025460-B1

Inventors

  • Ewald, Stefan
  • Prinzhausen, Stefanie

Dates

Publication Date
20260506
Application Date
20200901

Claims (11)

  1. Method for displaying an environment (16) of a vehicle (10), wherein the vehicle (10) has a camera-based environment detection system (14) for detecting the environment (16) of the vehicle (10), for moving the vehicle (10) to a target position (24) in the environment (16), comprising the steps Providing images of the environment (16) of the vehicle (10) with the camera-based environment detection system (14), Generating an environment image (26) in a bird's eye view based on the images of the environment (16) of the vehicle (10) provided by the camera-based environment detection system (14), Determining at least one target position (24) in the environment (16) of the vehicle (10), Displaying the at least one target position (24) in a first overlay layer, which covers the environment (16) of the vehicle (10), and Overlaying the environment image (26) with the first overlay layer, Determining a non-drivable area in the environment of the vehicle (10), Displaying the non-drivable area (30) in a second overlay layer, which covers the environment (16) of the vehicle (10), and Overlaying the environment image (26) with the second overlay layer, wherein the displaying of the non-drivable area (30) in a second overlay layer, which covers the environment (16) of the vehicle (10), includes generating a representation of the non-drivable area (30) in a side view based on the images of the environment (16) of the vehicle (10) provided by the camera-based environment detection system (14), Determining at least one obstacle (32) in the environment (16) of the vehicle (10), Displaying the at least one obstacle (32) in a third overlay layer, which covers the environment (16) of the vehicle (10), and Overlaying the environment image (26) with the third overlay layer, wherein the displaying of the at least one obstacle (32) in a third overlay layer, which covers the environment (16) of the vehicle (10), includes generating a representation of the at least one obstacle (32) in a side view based on the images of the environment (16) of the vehicle (10) provided by the camera-based environment detection system (14) and providing the side view representation of the at least one obstacle (32); wherein the non-drivable area (30) is either determined directly, or wherein first a drivable area (28) is determined and the non-drivable area (30) is determined by inverting the drivable area (28); wherein when overlaying the environment image (26) with the first, second and third overlay layers, existing parts of the environment image (26) are replaced or supplemented by the information of the overlay layers through partially transparent overlay.
  2. Method according to one of the preceding claims, wherein - the displaying of the at least one obstacle (32) in a third overlay layer includes displaying boundaries of the at least one obstacle (32).
  3. Method according to one of the preceding claims, wherein - the method includes a step for identifying the at least one obstacle (32), and the displaying of the at least one obstacle (32) in a third overlay layer, which covers the environment (16) of the vehicle (10), includes displaying the at least one obstacle (32) based on the identification of the at least one obstacle (32).
  4. Method according to one of the preceding claims, wherein - the displaying of the at least one obstacle (32) in a third overlay layer, which covers the environment (16) of the vehicle (10), includes a distance-dependent representation of the at least one obstacle (32).
  5. Method according to one of the preceding claims, wherein the determining of at least one target position (24) in the environment (16) of the vehicle (10) and/or the determining of a non-drivable area (30) in the environment (16) of the vehicle (10) and/or the determining of the at least one obstacle (32) in the environment (16) of the vehicle (10) is performed taking into account the images of the environment (16) of the vehicle (10) provided by the camera-based environment detection system (14).
  6. Method according to one of the preceding claims, wherein the method includes a step for receiving sensor information from at least one additional environment sensor (22), in particular a LiDAR-based environment sensor, a radar sensor and/or a plurality of ultrasonic sensors, which detects at least a partial area of the environment (16) of the vehicle (10), and the determining of at least one target position (24) in the environment (16) of the vehicle (10) and/or the determining of a non-drivable area (30) in the environment (16) of the vehicle (10) and/or the determining of the at least one obstacle (32) in the environment (16) of the vehicle (10) is performed taking into account the sensor information of the at least one additional environment sensor (22).
  7. Method according to one of the preceding claims, wherein the generating of an environment image (26) in a bird's eye view based on the images of the environment (16) of the vehicle (10) provided by the camera-based environment detection system (14) includes generating the environment image (26) in the manner of a bowl view.
  8. Method according to one of the preceding claims, wherein the displaying of the at least one target position (24) in a first overlay layer, which covers the environment (16) of the vehicle (10), includes displaying a trajectory for moving the vehicle (10) to reach the target position (24).
  9. Method according to claim 8, wherein the displaying of a trajectory for moving the vehicle (10) to reach the target position (24) includes displaying an area swept by the vehicle (10) when driving the trajectory.
  10. Method according to one of the preceding claims, wherein the method includes a step for storing the images of the environment (16) of the vehicle (10) provided by the camera-based environment detection system (14), and the generating of an environment image (26) in a bird's eye view includes generating at least a first area of the environment image (26) based on images of the environment (16) of the vehicle (10) currently provided by the camera-based environment detection system (14) and at least a second area with stored images of the environment (16) of the vehicle (10).
  11. Driver assistance system (10) for displaying an environment (16) of a vehicle (10), with a camera-based environment detection system (14) for detecting the environment (16) of the vehicle (10), and a processing unit (18), which receives images of the environment (16) of the vehicle (10), wherein the driver assistance system (12) is designed to perform the method according to one of the preceding claims 1 to 10.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Darstellen einer Umgebung eines Fahrzeugs, wobei das Fahrzeug ein kamerabasiertes Umgebungserfassungssystem aufweist zur Erfassung der Umgebung des Fahrzeugs, zum Bewegen des Fahrzeugs zu einer Zielposition in der Umgebung. Auch betrifft die vorliegende Erfindung ein Fahrunterstützungssystem zum Darstellen einer Umgebung eines Fahrzeugs, mit einem kamerabasierten Umgebungserfassungssystem zur Erfassung der Umgebung des Fahrzeugs, und einer Verarbeitungseinheit, welche Bilder der Umgebung des Fahrzeugs empfängt, wobei das Fahrunterstützungssystem ausgeführt ist, das obige Verfahren durchzuführen. Es sind verschiedenartige Assistenzfunktionen oder auch allgemein Fahrunterstützungssysteme zum Bewegen eines Fahrzeugs zu einer Zielposition bekannt. Dies betrifft beispielsweise das Parken von Fahrzeugen auf einem Parkplatz in der Umgebung, wobei der Parkplatz die Zielposition darstellt. So können entsprechende Assistenzsysteme beispielsweise eine Umgebung des Fahrzeugs erfassen, um bereits beim Erkennen von Parkplätzen oder anderen Zielpositionen zu helfen. Weiterhin können diese Systeme helfen, eine optimale Trajektorie zu bestimmen, der ein Fahrzeugführer folgen kann, um das Fahrzeug auf einem Parkplatz zu parken oder eine beliebige Zielposition zu erreichen. Darüber hinaus sind beispielsweise autonomes oder teil-autonomes Parken wichtige Funktionen für aktuelle Fahrzeuge, die auch bereits in verschiedenen Fahrunterstützungssystemen Verwendung in diesen Fahrzeugen findet und das Parken erleichtert. Dabei wird das jeweilige Fahrzeug autonom oder teil-autonom auf einen erfassten Parkplatz manövriert. Dabei kann es dem Fahrzeugführer ermöglicht werden, dass Fahrzeug vor der Durchführung des Parkvorgangs bereits zu verlassen. Solche Funktionen sind beispielsweise bekannt, um das Fahrzeug nach dem Verlassen autonom in einer heimischen Garage zu parken oder auf einem beliebigen heimischen Stellplatz abzustellen. Insbesondere in Ballungsräumen sind Parkplätze oftmals rar, und das Einparken wie auch das Ausparken kann sich zeitaufwändig gestalten. Daher sind weitere Verbesserungen beim Parken von Fahrzeugen wünschenswert. Zur Bewegung des Fahrzeugs zu einer Zielposition ist es oftmals hilfreich, einem Führer eines Fahrzeugs Details zu der Bewegung des Fahrzeugs zu der Zielposition zu visualisieren. Dadurch kann das Vertrauen in das autonome bzw. teilautonome Bewegen des Fahrzeugs erhöht und damit die Akzeptanz dieser Funktionen signifikant verbessert werden. Zur Darstellung der Details zu der Bewegung des Fahrzeugs zu der Zielposition, insbesondere zu einem Parkplatz in der Umgebung des Fahrzeugs, wird ein üblicherweise in dem Fahrzeug befindliches User Interface des Fahrzeugs mit einem Bildschirm verwendet. Dabei ist es wichtig, dass der Fahrzeugführer die Darstellung der Details mit seiner eigenen Wahrnehmung der Umgebung des Fahrzeugs möglichst einfach abgleichen kann. Zur Darstellung der Details zu der Bewegung des Fahrzeugs zu der Zielposition sind dabei verschiedene Konzepte bekannt. So kann beispielsweise eine Darstellung einer künstlich erzeugten Fahrzeugumgebung inkl. der Details zu der Bewegung des Fahrzeugs zu der Zielposition vorgenommen werden. Dazu wird typischerweise eine schematische Darstellung, die mit der realen Umgebung, wie sie von dem Fahrzeugführer wahrgenommen wird, nur wenige Übereinstimmungen aufweist, verwendet. Auch sind prinzipiell Darstellungen mit einer 360°-Ansicht aus einer Vogelperspektive mit realen Kamerabildern bekannt. Diese Darstellungen basieren auf einem kamerabasierten Umgebungserfassungssystem, das eine 360°-Erfassung der Umgebung durchführt. Solche kamerabasierten Umgebungserfassungssysteme umfassen beispielsweise ein Surroundview-Kamerasystem mit vier Kameras, die an dem Fahrzeug angebracht sind. Dabei erfolgt aber eine Verzerrung der realen Umgebung des Fahrzeugs, was einen Abgleich mit der realen Umgebung erschwert. Prinzipiell sind auch vergleichbare Darstellungen nach der Art eines Bowl View (Schüsselansicht) oder eines adaptiven Bowl View bekannt, welche diese Probleme teilweise reduzieren. Insgesamt besteht noch Verbesserungsbedarf bei der Darstellung von relevanten Informationen zur Bewegung des Fahrzeugs zu der Zielposition. Aus der DE 103 17 044 A1 ist bekannt, dass es bei schwierigen Fahrmanövern für Führer von Kraftfahrzeugen oft schwierig abzuschätzen, entlang welcher Bahn sich ihr Fahrzeug bewegen wird und welcher Freiraum zur Kollisionsvermeidung notwendig ist. Dies ist insbesondere dann der Fall, wenn der Fahrzeugführer mit den Abmaßen des Fahrzeugs oder dessen Fahrverhalten nicht vertraut ist. Bei einem Verfahren zur Überwachung des Freiraums in Fahrtrichtung eines Fahrzeugs werden mittels eines Kamerasystems Bilddaten des im Bereich der Fahrtrichtung befindlichen Fahrzeugumfeldes aufgenommen. Zusätzlich wird auf Basis der Betriebsparameter und der Abmessungen des Fahrzeugs innerhalb einer Signalverarbeitun