DE-112011103690-B4 - Erkennung und Verfolgung sich bewegender Objekte

DE112011103690B4DE 112011103690 B4DE112011103690 B4DE 112011103690B4DE-112011103690-B4

Abstract

Verfahren zur Durchführung der Sichtüberwachung eines oder mehrerer sich bewegender Objekte, wobei das Verfahren aufweist: Registrieren eines Bilds oder mehrerer Bilder, die von mehreren Kameras eines unbemannten Fluggeräts aufgenommen wurden, wobei das Registrieren des Bilds oder der Bilder eine rekursive globale und lokale geometrische Registrierung des einen oder der mehreren Bilder in zwei oder mehr benachbarten Einzelbildern (302, 304, 306; 402, 404, 406) aufweist, wobei die rekursive globale und lokale geometrische Registrierung umfasst: (i) Aufteilen jedes der zwei oder mehr benachbarten Einzelbilder (302, 304, 306; 402, 404, 406) in mehrere Unterbereiche, die jeweils einen oder mehrere einem Kandidatenbild zugeordnete Unterbereiche und einen oder mehrere einem Referenzbild zugeordnete Unterbereiche umfassen; (ii) Bestimmen einer Ecke für jeden der einem Kandidatenbild zugeordneten Unterbereiche und jeden der einem Referenzbild zugeordneten Unterbereiche durch Implementierung einer Mehrfachauflösungstechnik; (iii) Erstellen einer Korrespondenz zwischen den einzelnen Teilbereichen eines Kandidatenbilds und den Teilbereichen eines Referenzbilds mit Subpixelgenauigkeit; (iv) Schätzen lokaler Transformationsparameter (TC i ) für die einzelnen Teilbereiche mittels rekursiver Ausreißerentfernung und Kleinstquadrate-Methode; (v) Registrieren aller Pixel der einzelnen Teilbereiche eines Kandidatenbilds mit einem Referenzbild; und (vi) Implementieren einer Vorwärts- und Rückwärts-Einzelbild-zu-Einzelbild-Registrierung durch Wiederholen der Schritte (i) bis (v) für jedes der zwei oder mehr benachbarten Einzelbilder (302, 304, 306; 402, 404, 406); Durchführen der Bewegungszerlegung des Bilds oder der Bilder, um ein oder mehrere sich bewegende Objekt und eine oder mehrere Hintergrundregion(en) im Bild oder in den Bildern zu erkennen, wobei das Durchführen ein automatisches Schätzen eines dynamischen Bewegungsschwellenwerts auf Basis räumlicher Filterung umfasst; Kombinieren einer Distanzmatrix mit einem Ähnlichkeitsmaß, um (i) aus einem oder mehreren erkannten bewegten Objekten ein bewegtes Objekt zu initialisieren, das einen oder mehrere Parameter erfüllt, und (ii) ein Objekt aus dem oder den erkannten bewegten Objekten als falsches bewegtes Objekt zu ignorieren, das den einen oder mehrere Parameter nicht erfüllt; und Verfolgen des oder der initialisierten sich bewegenden Objekte, um die Sichtüberwachung des oder der initialisierten sich bewegenden Objekte zu erleichtern.

Inventors

Sharathchandra Umapathirao Pankanti
Arun Hampapur
Jun Li
Charles Otto

Assignees

INTERNATIONAL BUSINESS MACHINES CORPORATION

Dates

Publication Date: 20260507
Application Date: 20111215
Priority Date: 20101220

Claims (20)

Verfahren zur Durchführung der Sichtüberwachung eines oder mehrerer sich bewegender Objekte, wobei das Verfahren aufweist: Registrieren eines Bilds oder mehrerer Bilder, die von mehreren Kameras eines unbemannten Fluggeräts aufgenommen wurden, wobei das Registrieren des Bilds oder der Bilder eine rekursive globale und lokale geometrische Registrierung des einen oder der mehreren Bilder in zwei oder mehr benachbarten Einzelbildern (302, 304, 306; 402, 404, 406) aufweist, wobei die rekursive globale und lokale geometrische Registrierung umfasst: (i) Aufteilen jedes der zwei oder mehr benachbarten Einzelbilder (302, 304, 306; 402, 404, 406) in mehrere Unterbereiche, die jeweils einen oder mehrere einem Kandidatenbild zugeordnete Unterbereiche und einen oder mehrere einem Referenzbild zugeordnete Unterbereiche umfassen; (ii) Bestimmen einer Ecke für jeden der einem Kandidatenbild zugeordneten Unterbereiche und jeden der einem Referenzbild zugeordneten Unterbereiche durch Implementierung einer Mehrfachauflösungstechnik; (iii) Erstellen einer Korrespondenz zwischen den einzelnen Teilbereichen eines Kandidatenbilds und den Teilbereichen eines Referenzbilds mit Subpixelgenauigkeit; (iv) Schätzen lokaler Transformationsparameter (TC i ) für die einzelnen Teilbereiche mittels rekursiver Ausreißerentfernung und Kleinstquadrate-Methode; (v) Registrieren aller Pixel der einzelnen Teilbereiche eines Kandidatenbilds mit einem Referenzbild; und (vi) Implementieren einer Vorwärts- und Rückwärts-Einzelbild-zu-Einzelbild-Registrierung durch Wiederholen der Schritte (i) bis (v) für jedes der zwei oder mehr benachbarten Einzelbilder (302, 304, 306; 402, 404, 406); Durchführen der Bewegungszerlegung des Bilds oder der Bilder, um ein oder mehrere sich bewegende Objekt und eine oder mehrere Hintergrundregion(en) im Bild oder in den Bildern zu erkennen, wobei das Durchführen ein automatisches Schätzen eines dynamischen Bewegungsschwellenwerts auf Basis räumlicher Filterung umfasst; Kombinieren einer Distanzmatrix mit einem Ähnlichkeitsmaß, um (i) aus einem oder mehreren erkannten bewegten Objekten ein bewegtes Objekt zu initialisieren, das einen oder mehrere Parameter erfüllt, und (ii) ein Objekt aus dem oder den erkannten bewegten Objekten als falsches bewegtes Objekt zu ignorieren, das den einen oder mehrere Parameter nicht erfüllt; und Verfolgen des oder der initialisierten sich bewegenden Objekte, um die Sichtüberwachung des oder der initialisierten sich bewegenden Objekte zu erleichtern.
Verfahren nach Anspruch 1 , wobei das Registrieren eines Bilds oder mehrerer Bilder das Verwenden einer oder mehrerer Subpixel-Bildvergleichstechniken aufweist.
Verfahren nach Anspruch 1 , wobei das Durchführen der Bewegungszerlegung des Bilds oder der Bilder eine Vorwärts- und Rückwärts-Einzelbilddifferenzierung aufweist.
Verfahren nach Anspruch 3 , wobei die Vorwärts- und Rückwärts-Einzelbilddifferenzen eine automatische dynamische Schwellenwertschätzung auf der Basis einer zeitlichen Filterung und/oder räumlichen Filterung aufweisen.
Verfahren nach Anspruch 3 , wobei die Vorwärts- und Rückwärts-Einzelbilddifferenzen das Durchführen einer morphologischen Operation und das Erzeugen einer oder mehrerer Bewegungspixel aufweisen.
Verfahren nach Anspruch 1 , wobei das Verfolgen des oder der sich bewegenden Objekte das Durchführen einer hybriden Zielverfolgung aufweist, wobei die hybride Zielverfolgung die Verwendung eines Kanade-Lucas-Tomasi-Merkmalsverfolgers (Feature Tracker) und einer Mittelwertverschiebung, die Verwendung einer Auto-Kernel-Scale-Schätzung und Aktualisierung und die Verwendung einer oder mehrerer Merkmalstrajektorien aufweist.
Verfahren nach Anspruch 1 , wobei das Verfolgen des oder der initialisierten sich bewegenden Objekte die Verwendung eines oder mehrerer Mehrfachzielverfolgungsalgorithmen auf der Basis eines Merkmalsvergleichs und Entfernungsmatrizen für ein oder mehrere Ziele aufweist.
Verfahren nach Anspruch 1 , wobei das Verfolgen des oder der sich bewegenden Objekte aufweist: Erzeugen eines Bewegungsabbilds; Identifizieren eines oder mehrerer sich bewegender Objekte; Durchführen der Objektinitialisierung und Objektprüfung; Identifizieren einer oder mehrerer Objektregionen im Bewegungsabbild; Extrahieren eines oder mehrerer Merkmales; Festlegen einer Suchregion im Bewegungsabbild; Identifizieren einer oder mehrerer Kandidatenregionen im Bewegungsabbild; Verfolgen der Mittelwertverschiebung; Identifizieren eines oder mehrerer sich bewegender Objektes in der oder den Kandidatenregion(en); Durchführen des Kanade-Lucas-Tomasi-Merkmalsvergleichs; Durchführen einer affinen Transformation; Durchführen einer Endregionen-Bestimmung anhand des Bhattacharyya-Koeffizienten; und Aktualisieren eines Zielmodells und der Trajektorieninformation.
Verfahren nach Anspruch 1 , wobei das Verfolgen des oder der initialisierten sich bewegenden Objektes die bezugsebenenbasierte Registrierung und Verfolgung aufweist.
Verfahren nach Anspruch 1 , außerdem aufweisend das In-Beziehung-Setzen jeder Kameraansicht mit einer oder mehreren anderen Kameraansichtten.
Verfahren nach Anspruch 1 , außerdem aufweisend das Bilden einer Panorama-Ansicht aus dem Bild oder den Bildern, die von den Kameras aufgenommen werden.
Verfahren nach Anspruch 11 , außerdem aufweisend das Schätzen der Bewegung jeder Kamera auf der Basis der Videoinformation über ein oder mehrere statische Objekte in der Panorama-Ansicht.
Verfahren nach Anspruch 11 , außerdem aufweisend das Schätzen einer oder mehrerer Hintergrundstrukturen in der Panorama-Ansicht auf der Basis der Erkennung linearer Strukturen und der statistischen Analyse des oder der sich bewegenden Objektes über eine Zeitperiode hinweg.
Verfahren nach Anspruch 1 , außerdem aufweisend eine automatische Merkmalsextraktion, wobei die automatische Merkmalsextraktion aufweist: Zerlegen eines Bilds in Einzelbilder; Durchführen einer gaußschen Glättungsoperation; Verwenden eines Canny-Detektors, um eine oder mehrere Merkmalskanten zu extrahieren; Realisieren einer Hough-Transformation für die Merkmalsanalyse; Bestimmen eines maximalen Ansprechergebnisses zur Verringerung eines Einflusses von Mehrfachspitzen in einem Transformationsraum; Bestimmen, ob eine Länge eines Merkmals größer ist als ein bestimmter Schwellenwert, und Durchführen der Merkmalsextraktion und Pixelentfernung, wenn die Länge des Merkmals größer ist als der Schwellenwert.
Verfahren nach Anspruch 14 , wobei die automatische Merkmalsextraktion außerdem das Durchführen der Einzelbilddifferenzierung und Prüfung anhand von Bewegungshistorienbildern aufweist.
Verfahren nach Anspruch 1 , außerdem aufweisend das Filtern falscher BLOBs, wobei das Filtern falscher BLOBs aufweist: Erzeugen eines Bewegungsabbilds; Anwenden eines Zusammenhangskomponenten-Prozesses, um alle BLOB-Daten zu verknüpfen; Erzeugen einer Bewegungs-BLOB-Tabelle; Extrahieren eines oder mehrerer Merkmale(s) für jedes BLOB in einem zuvor registrierten Einzelbild; und Anwenden eines Kanade-Lucas-Tomasi-Verfahrens, um die Bewegung jedes BLOBs zu schätzen, und Löschen des BLOBs aus der BLOB-Tabelle, wenn keine Bewegung für das BLOB auftritt.
Verfahren nach Anspruch 1 , außerdem aufweisend das Aktualisieren eines Zielmodells in einer zeitlichen Domäne und/oder einer räumlichen Domäne.
Verfahren nach Anspruch 1 , außerdem aufweisend das Erzeugen eines Indexes von Objekterscheinungsformen und Objektverfolgungen in einer Panorama-Ansicht.
Verfahren nach Anspruch 10 , außerdem aufweisend das Bestimmen einer Ähnlichkeitsmetrik zwischen einer Abfrage und einem Eintrag im Index.
Verfahren nach Anspruch 1 , außerdem aufweisend das Bereitstellen eines Systems, wobei das System ein oder mehrere getrennte Softwaremodule aufweist, wobei jedes der einen oder mehreren getrennten Softwaremodule auf einem materiellen, computerlesbaren beschreibbaren Speichermedium ausgeführt ist, und wobei das oder die getrennten Softwaremodule ein Modul zur geometrischen Registrierung, ein Bewegungsextraktionsmodul und ein Objektverfolgungsmodul aufweisen, die auf einem Hardware-Prozessor ausgeführt werden.

Description

Gebiet der Erfindung Ausführungsformen der Erfindung betreffen allgemein die Informationstechnologie und insbesondere die Bildanalyse von Objekten in einem Video. Hintergrund der Erfindung In den letzten Jahren haben die Aufklärung, Überwachung, Katastrophenhilfe, Such- und Rettungsdienste, landwirtschaftliche Informationssammlung und die schnelle Fernerkundung und -kartierung zu zivilen und militärischen Zwecken zunehmende Aufmerksamkeit gewonnen. Zum Beispiel können unbemannte Luftfahrzeuge (UAVs) aufgrund ihrer geringen Größe und preisgünstigen Sensorplattform eine attraktive Plattform zur Ausführung derartiger Operationen darstellen. UAVs sind jedoch mit erheblichen Herausforderungen verbunden, wenn sie in Überwachungssystemen verwendet werden. Zum Beispiel verändert sich der Hintergrund auf signifikante Weise, wenn die Kamera sich schnell bewegt und unregelmäßig rotiert, und die Bewegung eines UAV-Fahrzeugs ist allgemein nicht gleichmäßig. Zudem ist die Einzelbildrate sehr niedrig (zum Beispiel 1 Einzelbild pro Sekunde), was die Schwierigkeiten der Erkennung und Verfolgung sich am Boden bewegender Ziele erhöht, und eine kleine Objektgröße bringt eine weitere Herausforderung für die Objekterkennung und -verfolgung mit sich. Auch starke Schwankungen der Lichtverhältnisse und das Streifenrauschen einer Kamera können die Trennung wahrer beweglicher Objekte vom Hintergrund stark erschweren. Bestehende Ansätze weisen auch Objektinitialisierungsprobleme auf und sind zudem nicht in der Lage, Registrierungsergebnisse von hoher Präzision zu erhalten, Rotations- und Größenänderungen eines Ziels zu handhaben und eine ähnliche Verteilung zwischen Ziel und Hintergrund zu bewältigen. US 2007 / 0 104 383 A1 offenbart die Verwendung mehrerer Kameras, um gleichzeitig oder aufeinanderfolgend mehrere Ansichten eines Bilds zur Erfassung der Bilder einer Szene aufzunehmen. Die Erzeugung und Verwendung eines Generationsmodells zur Zerlegung von Bildsequenzen in eine Gruppe von geschichteten 2-dimensionalen Erscheinungsform-Abbildern und Masken von sich bewegenden Objekten, die die Löschung von Sprite-Pixeln, die als voll transparent bestimmt werden, erlauben, während Hintergrundpixel, die vom Sprite verdeckt werden, dementsprechend gelöscht werden. Zudem ist ein Schichtextraktionssystem basierend auf einer Dominaten-Bewegung-Abschätzung und einer globalen Registrierung von Kang et al., aus IEEE, International Conference on Multimedia and Expo (ICME), Vol. 1, 2004, bekannt. Weiterhin sind Methoden zur Bewegungsschätzung für die Videokomprimierung von Jasinschi et al., aus Journal of the Franklin Institute, 1998, 335. Jg., Nr. 8, bekannt. Darüber hinaus ist aus der EP 2 006 805 A2 ein Bildregistrationsverfahren bekannt. Kurzbeschreibung Die vorliegende Erfindung wird durch die Patentansprüche definiert. Eine oder mehrere Ausführungsbeispiele oder Elemente davon können in Form eines Computerprodukts realisiert werden, das ein materielles, computerlesbares Speichermedium mit computernutzbarem Programmcode zur Durchführung der angegebenen Verfahrensschritte aufweist. Darüber hinaus können eine oder mehrere Ausführungsbeispiele oder Elemente davon in Form einer Vorrichtung realisiert werden, die einen Speicher und mindestens einen Prozessor aufweist, der mit dem Speicher verbunden ist und betreibbar ist, um beispielhafte Verfahrensschritte durchzuführen. In einem weiteren Aspekt können eine oder mehrere Ausführungsbeispiele oder Elemente davon in Form von Mitteln zur Durchführung eines oder mehrerer der hierin beschriebenen Verfahrensschritte realisiert werden; die Mittel können (i) Hardware-Modul(e), (ii) Software-Modul(e) oder (iii) eine Kombination aus Hardware- und Software-Modulen aufweisen; jedes von (i) bis (iii) realisiert die spezifischen Techniken, die hierin dargelegt werden, und die Software-Module werden auf einem materiellen computerlesbaren Speichermedium (oder mehreren solcher Medien) gespeichert. Nach einem ersten beispielhaften Aspekt wird ein beispielhaftes Verfahren zur Durchführung der Sichtüberwachung eines oder mehrerer sich bewegender Objekte(s) bereitgestellt, wobei das Verfahren aufweisen kann: das Registrieren eines Bilds oder mehrerer Bilder, die von einer oder mehreren Kamera(s) aufgenommen wurden, wobei das Registrieren des Bilds oder der Bilder die regionsbasierte Registrierung des Bilds oder der Bilder in zwei oder mehr benachbarten Einzelbildern aufweist; das Durchführen der Bewegungszerlegung des Bilds oder der Bilder, um ein oder mehrere sich bewegende Objekt(e) und eine oder mehrere Hintergrundregion(en) im Bild oder in den Bildern zu erkennen; und das Verfolgen des oder der sich bewegenden Objekte(s), um die Sichtüberwachung des oder der sich bewegenden Objekte(s) zu erleichtern. Bevorzugt wird ein beispielhaftes Verfahren bereitgestellt, in welchem das Registrieren eines Bilds oder mehrerer Bilder das rekursive globale und lokale geometrische Registrieren des Bilds oder der Bilder aufweist. B