DE-102025145257-A1 - ERSTELLEN VON ALTERNATIVEN BILDANSICHTEN AUS STEREO-DISPARITÄTSDATEN

Abstract

Die hier vorgestellten Ansätze ermöglichen die Erzeugung alternativer Ansichten aus Disparitätsdaten, die für ein oder mehrere Objekte in einer Szene erfasst wurden. Die Erzeugung kann unter Verwendung eines eingebetteten Prozessors mit DMA-Speicherzugriff oder anderer Hardware mit begrenzter Kapazität erfolgen. Es kann eine Zwischendarstellung erzeugt werden, die eine 2D-Histogrammansicht der Disparitätsdaten darstellt. Diese Zwischendarstellung kann unter Verwendung des eingebetteten Prozessors in ein alternatives Ansichtsbild, beispielsweise ein Bild aus der Vogelperspektive, umgewandelt werden. Morphologische oder ähnliche Filterungen können für das eine oder mehrere Objekte in der Zwischendarstellung unter Verwendung eines Filters gleicher Größe durchgeführt werden, unabhängig von der Entfernung von einer Kameraebene, die zur Erfassung der Disparitätsdaten verwendet wird.

Inventors

• Branislav Kisacanin
• Ching Hung

Assignees

• NVIDIA CORPORATION

Dates

Publication Date

20260507

Application Date

20251104

Priority Date

20241105

Claims (20)

1. System, aufweisend: mindestens einen eingebetteten Prozessor mit Direktspeicherzugriffsfunktion (DMA) zum: Erzeugen einer zweidimensionalen (2D) Histogrammansicht eines oder mehrerer Objekte in einer Umgebung, die teilweise auf Disparitätsdaten für das eine oder die mehreren Objekte basiert, wobei die zweidimensionale Histogrammansicht eine Funktion des Winkels und der Entfernung zu einer Ebene mindestens einer Kamera ist, die zum Erzeugen der Stereo-Disparitätsdaten verwendet wird; und Erzeugen eines Vogelperspektivbildes des einen oder der mehreren Objekte durch Transformieren der 2D-Histogrammansicht.
2. System nach Anspruch 1 , wobei der mindestens eine eingebettete Prozessor keinen Zugriff auf einen externen Speicher hat, der zur Erzeugung des Vogelperspektivenbildes verwendet werden könnte.
3. System nach Anspruch 1 oder 2 , wobei das System ferner dazu ausgebildet ist, die Disparitätsdaten unter Verwendung von Bilddaten zu bestimmen, die mit der Kamera erfasst wurden.
4. System nach einem der vorhergehenden Ansprüche, wobei die Kamera eine stereoskopische Kameraeinheit oder ein Paar aufeinander abgestimmter Kamerasensoren ist.
5. System nach einem der vorhergehenden Ansprüche, wobei das Vogelperspektivbild teilweise durch Erzeugen einer Liste von Objektzentren und Statistiken unter Verwendung der 2D-Histogrammansicht und durch Umwandeln der Liste in eine entsprechende Liste in einem Koordinatensystem der Vogelperspektive erzeugt wird.
6. System nach einem der vorhergehenden Ansprüche, wobei Datenübertragungen für den eingebetteten Prozessor unter Verwendung des DMA auf rechteckigen Bereichen der Bilddaten durchgeführt werden.
7. System nach einem der vorhergehenden Ansprüche, wobei der mindestens eine eingebettete Prozessor ferner ausgebildet ist zum: Empfangen von stereoskopischen Bilddaten von der mindestens einen Kamera; und Erzeugen einer Disparitätskarte, die die Disparitätsdaten für das eine oder die mehreren Objekte enthält, unter Verwendung der stereoskopischen Bilddaten.
8. System nach einem der vorhergehenden Ansprüche, wobei die Disparitätsdaten Daten umfassen, die von mindestens einem zusätzlichen Sensor erhalten wurden.
9. System nach einem der vorhergehenden Ansprüche, wobei das System mindestens eines umfasst aus: ein System zum Durchführen von Simulationsvorgängen; ein System zum Durchführen von Simulationsvorgängen zum Testen oder Validieren autonomer Maschinenanwendungen; ein System zum Durchführen von Digital-Twin-Operationen; ein System zur Durchführung von Lichttransportsimulationen; ein System zum Rendern grafischer Ausgaben; ein System zur Durchführung von Deep-Learning-Operationen; ein System zur Durchführung generativer KI-Operationen unter Verwendung eines großen Sprachmodells (LLM), ein System zur Durchführung generativer KI-Operationen unter Verwendung eines Bildverarbeitungsmodells (VLM), ein System zur Durchführung generativer KI-Operationen unter Verwendung eines multimodalen Sprachmodells (MMLM); ein System zum Bereitstellen eines oder mehrerer Sprachmodelle unter Verwendung eines Virtualisierungscontainers auf Betriebssystemebene (OS), der mit dem einen oder den mehreren Sprachmodellen über eine oder mehrere Anwendungsprogrammierschnittstellen (APIs) kommuniziert; ein System, das unter Verwendung einer Edge-Vorrichtung implementiert ist; ein System zum Erzeugen oder Präsentieren von Virtual-Reality-Inhalten (VR); ein System zum Erzeugen oder Präsentieren von Augmented-Reality-Inhalten (AR); ein System zum Erzeugen oder Präsentieren von Mixed-Reality-Inhalten (MR); ein System, das eine oder mehrere virtuelle Maschinen (VMs) umfasst; ein System, das zumindest teilweise in einem Rechenzentrum implementiert ist; ein System zur Durchführung von Hardwaretests mittels Simulation; ein System zur Erzeugung synthetischer Daten; eine Plattform für die kollaborative Erstellung von Inhalten für 3D-Assets; oder ein System, das zumindest teilweise unter Verwendung von Cloud-Computing-Ressourcen implementiert ist.
10. Mindestens ein eingebetteter Prozessor mit Direktspeicherzugriffsfunktion (DMA), um ein Vogelperspektivbild für eine Szene zu erzeugen, indem aus Disparitätsdaten für die Szene ein Zwischenhistogramm als Funktion des Winkels und der Entfernung zu einer Kameraebene erzeugt und das Zwischenhistogramm in das Vogelperspektivbild umgewandelt wird.
11. Mindestens ein eingebetteter Prozessor nach Anspruch 10 , wobei das Zwischenhistogramm Darstellungen eines oder mehrerer Objekte in der Szene enthält, und wobei der mindestens eine eingebettete Prozessor dazu ausgebildet ist, an dem Zwischenhistogramm eine Analyse von verbundenen Komponenten durchzuführen, um Pixelpositionen zu identifizieren, die dem einen oder den mehreren Objekten zugeordnet sind.
12. Mindestens ein eingebetteter Prozessor nach Anspruch 11 , wobei der mindestens eine eingebettete Prozessor ferner dazu ausgebildet ist, eine Liste von Objektzentren und Statistiken für das eine oder die mehreren Objekte unter Verwendung der Zwischenhistogrammansicht zu erzeugen, und die Liste in eine entsprechende Liste in einem Koordinatensystem des Vogelperspektivbildes umzuwandeln.
13. Mindestens ein eingebetteter Prozessor nach einem der Ansprüche 10 bis 12 , wobei der mindestens eine eingebettete Prozessor keinen Zugriff auf einen vollständigen Satz von Bilddaten hat, die in einem externen Speicher gespeichert sind, um sie zur Erzeugung des Zwischenhistogramms oder des Vogelperspektivbildes zu verwenden.
14. Mindestens ein eingebetteter Prozessor nach einem der Ansprüche 10 bis 13 , wobei Datenübertragungen für den mindestens einen eingebetteten Prozessor unter Verwendung des DMA auf rechteckigen Bereichen von Bilddaten durchgeführt werden.
15. Mindestens ein eingebetteter Prozessor nach einem der Ansprüche 10 bis 14 , wobei der mindestens eine eingebettete Prozessor ferner dazu ausgebildet ist, die Disparitätsdaten unter Verwendung von Bilddaten zu bestimmen, die mit mindestens einer stereoskopischen Kameraeinheit erfasst wurden.
16. Mindestens ein eingebetteter Prozessor nach einem der Ansprüche 10 bis 15 , wobei der mindestens eine eingebettete Prozessor in mindestens einem enthalten ist aus: einem System zum Ausführen von Simulationsoperationen; einem System zum Ausführen von Simulationsvorgängen zum Testen oder Validieren autonomer Maschinenanwendungen; einem System zum Ausführen von Digital-Twin-Operationen; einem System zum Durchführen einer Lichttransportsimulation; einem System zum Rendern grafischer Ausgaben; ein System zur Durchführung von Deep-Learning-Operationen; ein System, das unter Verwendung einer Edge-Vorrichtung implementiert ist; ein System zum Erzeugen oder Präsentieren von Virtual-Reality-Inhalten (VR); ein System zum Erzeugen oder Präsentieren von Augmented-Reality-Inhalten (AR); ein System zum Erzeugen oder Präsentieren von Mixed-Reality-Inhalten (MR); ein System, das eine oder mehrere virtuelle Maschinen (VMs) umfasst; ein System, das zumindest teilweise in einem Rechenzentrum implementiert ist; ein System zur Durchführung von Hardwaretests mittels Simulation; ein System zur Erzeugung synthetischer Daten; ein System zur Durchführung generativer KI-Operationen unter Verwendung eines großen Sprachmodells (LLM), ein System zur Durchführung generativer KI-Operationen unter Verwendung eines Bildverarbeitungsmodells (VLM), ein System zur Durchführung generativer KI-Operationen unter Verwendung eines multimodalen Sprachmodells (MMLM); ein System zum Bereitstellen eines oder mehrerer Sprachmodelle unter Verwendung eines Virtualisierungscontainers auf Betriebssystemebene (OS), der mit dem einen oder den mehreren Sprachmodellen über eine oder mehrere Anwendungsprogrammierschnittstellen (APIs) kommuniziert; eine kollaborative Plattform zur Erstellung von Inhalten für 3D-Assets; oder ein System, das zumindest teilweise unter Verwendung von Cloud-Computing-Ressourcen implementiert ist.
17. Computerimplementiertes Verfahren, das aufweist: Erzeugen einer Zwischenhistogrammdarstellung eines Disparitätsbildes unter Verwendung eines eingebetteten Prozessors mit DMA-Speicherzugriff; Identifizieren von Positionen in der Zwischenhistogrammdarstellung, die mit einem oder mehreren Objekten assoziiert sind; und Transformieren der Zwischenhistogrammdarstellung unter Verwendung des eingebetteten Prozessors und teilweise auf der Grundlage der Orte in ein Vogelperspektivbild, das Darstellungen des einen oder der mehreren Objekte enthält.
18. Computerimplementierte Verfahren nach Anspruch 17 , wobei der eingebettete Prozessor keinen Zugriff auf einen externen Speicher hat, der zur Erzeugung der Zwischenhistogrammdarstellung oder des Vogelperspektivbildes verwendet werden könnte.
19. Computerimplementierte Verfahren nach Anspruch 17 oder 18 , das ferner aufweist: Durchführen einer Analyse verbundener Komponenten unter Verwendung des eingebetteten Prozessors an der Zwischenhistogrammdarstellung, um die mit dem einen oder den mehreren Objekten verbundenen Positionen zu identifizieren.
20. Computerimplementierte Verfahren nach Anspruch 18 , das ferner aufweist: Erzeugen einer Liste von Objektzentren und Statistiken für das eine oder die mehreren Objekte aus der Zwischenhistogrammdarstellung unter Verwendung des eingebetteten Prozessors; und Transformieren der Liste unter Verwendung des eingebetteten Prozessors in eine entsprechende Liste in einem Koordinatensystem des Vogelperspektivbildes.

Description

TECHNISCHES GEBIET Diese Offenbarung betrifft die Umwandlung von Bilddaten zwischen verschiedenen Ansichten oder Darstellungen, insbesondere in einer oder mehreren nicht einschränkenden Ausführungsformen die Erzeugung einer Zwischenbilddarstellung aus einem Satz von Disparitätsdaten, die eine Verarbeitung und Umwandlung unter Verwendung von Ressourcen mit begrenzter Kapazität ermöglicht. HINTERGRUND Bei verschiedenen Rechenoperationen muss man die Positionen verschiedener Objekte in einer Szene oder einem geografischen Gebiet bestimmen. Dazu kann zum Beispiel die Analyse von aufgenommenen Bildinformationen gehören, um Aufgaben wie Navigation, Lokalisierung, kontrollierte Interaktion und Kollisionsvermeidung für Roboter und autonome oder halbautonome Fahrzeuge oder Maschinen zu unterstützen. Die Durchführung von Vorgängen wie Bilderkennung und Computervision kann erhebliche Ressourcen erfordern, darunter die Möglichkeit, auf Speicher mit ausreichender Kapazität zuzugreifen, um ein gesamtes Bild zu speichern. Aufgaben wie die Erzeugung einer Vogelperspektive (BEV) einer Szene aus aufgenommenen Disparitätsdaten können mit begrenzten Ressourcen, wie eingebetteten Prozessoren ohne Zugriff auf externen Speicher, schwierig oder sogar unmöglich zu bewältigen sein. Darüber hinaus gibt es Aufgaben wie morphologische Filterung und Bewegungsanalyse, die ressourcenintensiv sind, wenn sie auf Vogelperspektivbildern durchgeführt werden müssen, bei denen Objekte in unterschiedlichen Entfernungen unterschiedliche Qualitätsstufen oder Mengen an aufgenommenen Informationen aufweisen können. KURZFASSUNG Die Erfindung wird durch die Ansprüche definiert. Um die Erfindung zu veranschaulichen, werden hier Aspekte und Ausführungsformen beschrieben, die unter den Anspruch fallen können oder auch nicht. Die hier vorgestellten Ansätze ermöglichen die Erzeugung alternativer Ansichten aus Disparitätsdaten, die für ein oder mehrere Objekte in einer Szene erfasst wurden. Die Erzeugung kann mit einem eingebetteten Prozessor mit DMA-Speicherzugriff oder anderer Hardware mit begrenzter Kapazität durchgeführt werden. Es kann eine Zwischendarstellung erzeugt werden, die eine 2D-Histogrammansicht der Disparitätsdaten ist. Diese Zwischendarstellung kann mit dem eingebetteten Prozessor in ein alternatives Ansichtsbild, wie z. B. ein Bild aus der Vogelperspektive, umgewandelt werden. Eine morphologische oder ähnliche Filterung kann für das eine oder mehrere Objekte in der Zwischendarstellung unter Verwendung eines Filters gleicher Größe durchgeführt werden, unabhängig von der Entfernung von einer Kameraebene, die zur Erfassung der Disparitätsdaten verwendet wird. Weitere Merkmale der Offenbarung sind durch die unabhängigen und abhängigen Ansprüche gekennzeichnet. Jedes Merkmal in einem Aspekt der Offenbarung kann in jeder geeigneten Kombination auf andere Aspekte der Offenbarung angewendet werden. Insbesondere können Verfahren auf Geräte- oder Systemaspekte angewendet werden und umgekehrt. Außerdem können in Hardware implementierte Merkmale in Software implementiert werden und umgekehrt. Jeder Verweis auf Software- und Hardwaremerkmale in dieser Beschreibung sollte entsprechend ausgelegt werden. Jedes hierin beschriebene System- oder Gerätemerkmal kann auch als Verfahren bereitgestellt werden und umgekehrt. Funktional beschriebene System- und/oder Geräteaspekte (einschließlich Mittel-plus-Funktionsmerkmalen) können alternativ in Bezug auf ihre entsprechende Struktur ausgedrückt werden, beispielsweise als ein entsprechend programmierter Prozessor und zugehöriger Speicher. Es sollte auch beachtet werden, dass bestimmte Kombinationen der verschiedenen Merkmale, die in beliebigen Aspekten der Offenbarung beschrieben und definiert sind, unabhängig voneinander implementiert und/oder bereitgestellt und/oder verwendet werden können. Die Offenbarung umfasst auch Computerprogramme und Computerprogrammprodukte, die Softwarecode enthalten, der so angepasst ist, dass er bei Ausführung auf einem Datenverarbeitungsgerät jedes der Verfahren ausführt und/oder jedes der hier beschriebenen Geräte- und Systemmerkmale verkörpert, einschließlich aller oder eines Teils der einzelnen Schritte eines Verfahrens. Die Offenbarung stellt auch einen Computer oder ein Computersystem (einschließlich vernetzter oder verteilter Systeme) mit einem Betriebssystem bereit, das ein Computerprogramm unterstützt, um jedes der hier beschriebenen Verfahren auszuführen und/oder jedes der hier beschriebenen Geräte- oder Systemmerkmale zu verkörpern. Die Offenbarung stellt auch ein computerlesbares Medium bereit, auf dem eines oder mehrere der oben genannten Computerprogramme gespeichert sind. Die Offenbarung umfasst auch ein Signal, das eines oder mehrere der oben genannten Computerprogramme enthält. Die Offenbarung erstreckt sich auf Verfahren und/oder Vorrichtungen und/oder Systeme, wie sie hier unter Bezugnahme auf die beigefügten Zeichnungen beschrieben sind. Aspekte und Ausführungsforme