DE-102017009149-B4 - Aufzeichnung und Wiedergabe von 360-Grad-Videos mit Objektverfolgung

Abstract

Vorrichtung, die Folgendes umfasst: eine Decodierungsvorrichtung, die so konfiguriert ist, dass sie einen 360-Grad-Videostrom als Eingabe empfängt und den 360-Grad-Videostrom decodiert; eine Vorrichtung zur Objektverfolgung, die so konfiguriert ist, dass sie ein Objekt verfolgt; das in dem decodierten 360-Grad-Videostrom erkannt wird, und einen oder mehrere mit dem erkannten Objekt verbundene Verfolgungswinkel bereitstellt, wobei das Objekt als am dichtesten bei dem Mittelpunkt der aktuellen Ansicht des 360-Grad-Videostroms erkannt wird; eine Speichervorrichtung, die so konfiguriert ist, dass sie den 360-Grad-Videostrom und mit dem 360-Grad-Videostrom verbundene Betrachtungsverlaufsdaten speichert; und eine Rendering-Vorrichtung, die so konfiguriert ist, dass sie den decodierten Strom unter Verwendung eines oder mehrerer Ansichtswinkel aus den Betrachtungsverlaufsdaten rendert.

Inventors

• Minhua Zhou
• Xuemin Chen
• Brian Heng

Assignees

• Avago Technologies International Sales Pte. Ltd.

Dates

Publication Date

20260507

Application Date

20170929

Priority Date

20170518

Claims (9)

1. Vorrichtung, die Folgendes umfasst: eine Decodierungsvorrichtung, die so konfiguriert ist, dass sie einen 360-Grad-Videostrom als Eingabe empfängt und den 360-Grad-Videostrom decodiert; eine Vorrichtung zur Objektverfolgung, die so konfiguriert ist, dass sie ein Objekt verfolgt; das in dem decodierten 360-Grad-Videostrom erkannt wird, und einen oder mehrere mit dem erkannten Objekt verbundene Verfolgungswinkel bereitstellt, wobei das Objekt als am dichtesten bei dem Mittelpunkt der aktuellen Ansicht des 360-Grad-Videostroms erkannt wird; eine Speichervorrichtung, die so konfiguriert ist, dass sie den 360-Grad-Videostrom und mit dem 360-Grad-Videostrom verbundene Betrachtungsverlaufsdaten speichert; und eine Rendering-Vorrichtung, die so konfiguriert ist, dass sie den decodierten Strom unter Verwendung eines oder mehrerer Ansichtswinkel aus den Betrachtungsverlaufsdaten rendert.
2. Vorrichtung nach Anspruch 1 , wobei der 360-Grad-Videostrom mit einer Vielzahl von vorbestimmten Ansichtswinkeln aus den Betrachtungsverlaufsdaten codiert ist.
3. Vorrichtung nach Anspruch 2 , wobei die Decodierungsvorrichtung ferner für Folgendes konfiguriert ist: Extrahieren der Vielzahl von vorbestimmten Ansichtswinkeln aus dem 360-Grad-Videostrom.
4. Vorrichtung nach Anspruch 3 , wobei die Vielzahl von vorbestimmten Ansichts-winkeln aus einer oder mehreren Nachrichten mit zusätzlichen Verbesserungsinformationen innerhalb des 360-Grad-Videostroms extrahiert werden.
5. Vorrichtung nach Anspruch 4 , wobei die Rendering-Vorrichtung ferner so konfiguriert ist, dass sie den decodierten 360-Grad-Videostrom getrennt von den extrahierten vorbestimmten Ansichtswinkeln empfängt.
6. - Vorrichtung nach Anspruch 2 , wobei die Rendering-Vorrichtung ferner so konfiguriert ist, dass sie einen Satz von durch den Anwender ausgewählten Ansichtswinkeln als Ein-gabe empfängt, wobei der Satz von durch den Anwender ausgewählten Ansichtswinkeln mittels einer Vorrichtung für Anwendereingaben bereitgestellt wird.
7. Vorrichtung nach Anspruch 6 , wobei die Rendering-Vorrichtung ferner für Folgendes konfiguriert ist: Treffen einer Auswahl zwischen der Vielzahl von vorbestimmten Ansichtswinkeln und dem Satz von durch den Anwender ausgewählten Ansichtswinkeln zum Rendern des decodierten 360-Grad-Videostroms.
8. Vorrichtung nach Anspruch 6 , wobei die Rendering-Vorrichtung ferner für Folgendes konfiguriert ist: Rendern des decodierten 360-Grad-Videostroms mit einem oder mehreren Ansichtswinkeln aus dem Satz von durch den Anwender ausgewählten Ansichtswinkeln, wobei der eine oder die mehreren Ansichtswinkel aus dem Satz von durch den Anwender ausgewählten Ansichtswinkeln entsprechende Ansichtswinkel aus der Vielzahl von vorbestimmten Ansichtswinkeln außer Kraft setzen.
9. Mittels eines Computers implementiertes Verfahren, das Folgendes umfasst: Decodieren eines 360-Grad-Videostroms; Verfolgen eines Objekts, das in dem decodierten 360-Grad-Videostrom erkannt wird, und Bereitstellen eines oder mehrerer mit dem erkannten Objekt verbundener Verfolgungswinkel, wobei das Objekt als am dichtesten bei dem Mittelpunkt der aktuellen Ansicht des 360-Grad-Videostroms erkannt wird; Extrahieren einer Vielzahl von vorbestimmten Ansichtswinkeln aus dem decodierten 360-Grad-Videostrom; Rendern des decodierten 360-Grad-Videostroms unter Verwendung der extrahierten vorbestimmten Ansichtswinkel; und Bereitstellen des gerenderten 360-Grad-Videostroms zur Anzeige.

Description

Die vorliegende Offenbarung betrifft die Erfassung und Wiedergabe von Videos, und insbesondere das Aufzeichnen und die Wiedergabe von 360-Grad-Videos mit Objektverfolgung, bzw. eine Vorrichtung mit einer Decodierungsvorrichtung, und ein mittels eines Computers implementiertes Verfahren. Bei 360-Grad-Videos, auch bekannt als Rundum-Videos, Vollsphären-Videos und/oder Panorama-Videos handelt es sich um Video-Aufzeichnungen eines Panoramas aus der wirklichen Welt, bei dem jeweils gleichzeitig die Ansicht in jede Richtung aufgezeichnet wird, wobei mit einer omnidirektionalen Kamera oder einer Sammlung von Kameras gefilmt wird. Während der Wiedergabe steuert der Betrachter die Winkel des Sichtfeldes (Field of View, FOV) und die Betrachtungsrichtungen (eine Form der virtuellen Realität). Aus der Druckschrift US 2010/0157016 A1 ist ein Multi-View-Kamerasystem für Videokonferenzen bekannt, bei dem eine skalierbare Videokodierung verwendet wird. In der Druckschrift EP 2 490 179 A1 ist ein System zur Videoübertragung beschrieben, bei dem ein Panoramabild mit niedriger Qualität codiert ist, und bestimmte Ausschnitte hiervon mit höherer Qualität. Aus der Druckschrift US 2013/0202265 A1 ist ein Verfahren bekannt, bei dem in mehreren Videos mehrere gemeinsame Objekte identifiziert werden, wobei jedes der mehreren Videos einen unterschiedlichen Sichtwinkel der Objekte aufweist. In der Druckschrift JP 2016-031576 A ist eine Objektdetektionsvorrichtung beschrieben, bei der ein sich bewegendes Objekt unter Verwendung von komprimierten Bilddaten detektiert wird. Die Erfindung hat zur Aufgabe, eine neuartige Vorrichtung, die eine Decodierungsvorrichtung aufweist, und ein neuartiges mittels eines Computers implementiertes Verfahren zur Verfügung zu stellen, insbesondere eine neuartige Vorrichtung und ein neuartiges mittels eines Computers implementiertes Verfahren, bei denen die Verfolgung eines Objekts verbessert werden kann. Die Erfindung erreicht dieses bzw. weitere Ziele durch den Gegenstand der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen der Erfindung sind insbesondere in den Unteransprüchen angegeben. Zweckmäßigerweise ist der 360-Grad-Videostrom mit einer Vielzahl von vorbestimmten Ansichtswinkeln aus den Betrachtungsverlaufsdaten codiert. Zweckmäßigerweise ist die Decodierungsvorrichtung ferner für Folgendes konfiguriert:Extrahieren der Vielzahl von vorbestimmten Ansichtswinkeln aus dem 360-Grad-Videostrom.Zweckmäßigerweise wird die Vielzahl von vorbestimmten Ansichtswinkeln aus einer oder mehreren Nachrichten mit zusätzlichen Verbesserungsinformationen innerhalb des 360-Grad-Videostroms extrahiert.Zweckmäßigerweise ist die Rendering-Vorrichtung ferner so konfiguriert, dass sie den decodierten 360-Grad-Videostrom getrennt von den extrahierten vorbestimmten Ansichtswinkeln empfängt.Zweckmäßigerweise ist die Rendering-Vorrichtung ferner so konfiguriert, dass sie einen Satz von durch den Anwender ausgewählten Ansichtswinkeln als Eingabe empfängt, wobei der Satz von durch den Anwender ausgewählten Ansichtswinkeln mittels einer Vorrichtung für Anwendereingaben bereitgestellt wird. Zweckmäßigerweise ist die Rendering-Vorrichtung ferner für Folgendes konfiguriert:Treffen einer Auswahl zwischen der Vielzahl von vorbestimmten Ansichtswinkeln und dem Satz von durch den Anwender ausgewählten Ansichtswinkeln zum Rendern des decodierten 360-Grad-Videostroms.Zweckmäßigerweise ist die Rendering-Vorrichtung ferner für Folgendes konfiguriert: Rendern des decodierten 360-Grad-Videostroms mit einem oder mehreren Ansichtswinkeln aus dem Satz von durch den Anwender ausgewählten Ansichtswinkeln, wobei der eine oder die mehreren Ansichtswinkel aus dem Satz von durch den Anwender ausgewählten Ansichtswinkeln entsprechende Ansichtswinkel aus der Vielzahl von vorbestimmten Ansichtswinkeln außer Kraft setzen. Zweckmäßigerweise ist die Rendering-Vorrichtung ferner für Folgendes konfiguriert:Zurück-Rendern des decodierten 360-Grad-Videostroms mit den entsprechenden Ansichtswinkeln aus der Vielzahl von vorbestimmten Ansichtswinkeln nach einem vorbestimmten Zeitraum ohne Anwenderaktivität.Zweckmäßigerweise ist der 360-Grad-Videostrom mit einer Vielzahl von vorbestimmten Sichtfeldwinkeln codiert. Zweckmäßigerweise ist die Decodierungsvorrichtung ferner für Folgendes konfiguriert:Extrahieren der Vielzahl von vorbestimmten Sichtfeldwinkeln aus dem 360-Grad-Videostrom. Zweckmäßigerweise sind die Betrachtungsverlaufsdaten als anwenderdefinierte Bilddaten in eine Videosequenz des 360-Grad-Video-Bitstroms eingefügt. Zweckmäßigerweise handelt es sich bei den Betrachtungsverlaufsdaten um einen separaten Datenstrom innerhalb einer Videosequenz des 360-Grad-Videostroms. Zweckmäßigerweise umfassen die Betrachtungsverlaufsdaten eine Vielzahl von Ansichtswinkeln für jedes Einzelbild in einer Videosequenz des 360-Grad-Videostroms. Zweckmäßigerweise ist die Rendering-Vorrichtung ferner so konfiguriert, dass sie einen Satz von durch den Anwender ausgewählten