Was ist Spatial Video, VR180, 3D-Foto & volumetrisches Video?

Ihr kennt die Situation: Ein Kind stellt Dir eine vermeintlich simple Frage. Du lachst, denkst nach das die "einfache Antwort" eine Menge mehr Hintergrudinfos umfasst.

So ging es mir bei der Zuschauerfrage "Was ist eigentlich der Unterschied zwischen VR180 und Spatial Video?" So kam ich wieder vor die Kamera und habe in einem Video gleich ein paar weitere Begriffe erklärt.

Daher... greift wieder zu einer Tasse Tee oder Kaffee und lest Euch die Erklärungen durch oder schaut Euch das Video an. Viel Spaß!

Was ist / Wozu Apples Spatial Video? #spatialcomputing - Click auf die Vorschau führt zu Youtube

Neben dem Text gibt es auch eine Video-Fassung des Newsletters.

Spatial Video - Ein Einstieg

Das Format "Spatial Video" ist eine Weiterentwicklung bestehender Formate, mit denen sich "räumliche Videos" generieren lassen. Deswegen darf ich ein bisschen ausholen, um verständlich zu machen, an welchem Punkt in der Generierung von 3D-Bildern/-Videos das Format Spatial Video einsetzt.

3D-Video: Stereoskopie

Spatial Video ist ein Format, das zur Familie der 3D-Videos (Stereoskopie) gehört. Die theoretische Grundlage kommt aus dem menschlichen Kopf. Um dreidimensional sehen zu können, braucht es mindestens zwei nahestehende Blickwinkel in die gleiche Richtung = Stereoskopie. Das Gehirn packt die visuellen Daten übereinander und synchronisiert sie zu einer räumlichen Wahrnehmung.

Die Gitternetze zeigen die Positionen von zwei "Augen" = Kameras für ein 3D-Foto 3D-Videos nehmen dem Gehirn diese Arbeit ab. Eine Software verarbeitet beide Perspektiven und produziert daraus ein dreidimensionales Video. Das können auch Menschen mit nur einem Auge wahrnehmen.

3D-Foto: Simulation von Raum

Das gleiche Prinzip funktioniert natürlich auch bei 3D-Fotos. Funfact: Seit etwa 2017 wird jedes Foto, das mit einem iPhone gemacht wird, als 3D-Foto gespeichert.

3D-Fotos mit dem iPhone, für die @Apple Vision Pro - Click auf die Vorschau führt zu Youtube

Bitte jetzt nicht nach einer entsprechenden Apple Pressemitteilung suchen. Eine offizielle Verlautbarung hat es dazu glaube ich nie gegeben. Facebook hat das genutzt und eine Funktion entwickelt, die diese Datenanordnung sichtbar macht. Kennen wir alle.

VR180 & 360 Grad-Video

Beim VR180 Format nimmt ein spezielles Objektiv der Kamera in jede Richtung (oben, unten, links und rechts) mehr auf, als normalerweise bewusst optisch wahrgenommen wird. Ihr kennt das natürlich schon. Im entsprechenden Bild oder Video kann z. B. mit der Mouse das Blickfeld um bis zu 180 Grad geschwenkt werden. Ein Klassiker ist mittlerweile das 360 Grad Video. Hier kann man sein Sichtfeld um 360 Grad drehen und kippen.

Was unterscheidet bisherige stereoskopische Videos von Spatial Video?

Beim stereoskopischen Format ist der gesamte Bildbereich vollständig dreidimensional aufbereitet. Die eigene virtuelle Drehbewegung des Betrachters ist dabei auf einen virtuellen Standpunkt festgelegt. Oder anders gesagt: Alles dreht sich um mich. Beim Spatial Format nimmt die Kamera mehr auf, als auf einen Blick sichtbar ist. Das heißt: Nicht alles, was aufgenommen wurde, ist vollständig sichtbar. Man blickt auf das Bild/Video wie durch ein Fenster. Der 3D-Effekt wird durch Tiefenunschärfe verstärkt. Der Fokus liegt auf einem Ausschnitt in der Mitte des Bildes. Wenn man den Bildschirm leicht nach links oder rechts dreht, rücken neue Bildausschnitte ins Blickfeld, die vorher außerhalb waren.

Die Fensterszene aus meinem Video

Man kann hier gewissermaßen sich nach vorne aus dem »Fenster« beugen und um die Ecke schauen. Im Prinzip werden hier VR180 und das 360 Grad Video miteinander kombiniert, um einen noch stärkeren dreidimensionalen Eindruck zu erhalten.

Was hat Meta falsch verstanden?

Übrigens hat Meta diesen Unterschied nicht verstanden. Ein Video im Spatial Format, das auf Meta Quest 3 läuft, ermöglicht genau dieses Sichtbarmachen »unsichtbarer« Randbereiche nicht. Es ist also nichts anderes als ein stereoskopisches Video im quadratischen Format. 😉

Wie funktioniert das Dateiformat Spatial Video?

Bei einem stereoskopischen Format liegen zwei Bilder vor – wie beim linken und rechten Auge. Diese beiden Bilder werden synchronisiert. Allerdings bedeutet das, dass die beiden Ausgangsbilder je nachdem, ob sie vertikal oder horizontal zueinander angeordnet sind, auf Pixel in der Breite oder Höhe verzichten, um in der Addition ein normales, nicht verzerrtes Ausgabeformat beizubehalten.

Apple wollte aber nicht auf entsprechend limitiertes Ausgangsbildmaterial zugreifen und hat deswegen ein anderes Prinzip eingeführt, um ein dreidimensionales Bild zu generieren.

Für das Spatial Format wird nur eines der beiden Ausgangsbilder genutzt. Dann sucht die Software im Vergleich mit dem zweiten Bild nach Unterschieden zwischen beiden, um hieraus nur die Informationen zu verwenden, die für die räumliche Perspektive wichtig sind.

Zur Verdeutlichung: Ihr blickt auf einen Stuhl vor einer Wand. Die Wand ist zweidimensional. Jedes einzelne Pixel in der Wand sieht durch beide »Augen« gleich aus. Anders verhält es sich mit dem davor stehenden Stuhl. Es ist ein räumlicher Gegenstand und je nach Blickwinkel stehen Flächen, Kanten und Erhebungen in einem anderen Verhältnis zueinander. Der Stuhl sieht in beiden »Augen« unterschiedlich aus.

In der Wahrnehmung führt das dazu, dass Hintergründe wie eine Wand oder auch weiter weg stehende Gegenstände/Personen etwas unscharf erscheinen. Diese Unschärfe kaschiert die fehlende Dreidimensionalität im Bildhintergrund. Mehr zu dem ganzen Thema von Mike Swanson Spatial Video.

Vorschau 1: 3D mit Spatial auf Apple Vision Pro

Ich gehe fest davon aus, dass wir uns demnächst über die Apple Vision Pro alle unsere gespeicherten Fotos und Videos in 3D anschauen können. Also auch ältere. Denn die dafür notwendige Art der Datenspeicherung existiert ja bereits.

• Typisch Apple 1: Erst mal die Voraussetzungen in Form von Datenverarbeitung und Datenspeicherung abschließen – und dann an die Entwicklung von Visionen gehen.
• Typisch Apple 2: Abwärtskompatibilität bei den Datenträgern. Neue Software soll eine relativ niedrige technische Einstiegshürde haben, damit möglichst viele Menschen sie direkt mit vorhandenen Devices nutzen können.
• Typisch Gerd: Eine entsprechende Funktion für iPhones und iPads wird bald kommen. Das passt zu Apple, das macht Sinn. Natürlich halte ich Euch dahingehend auf dem Laufenden.

Vision Apple Pro: Vorteil in der Videoauflösung

Bisher im Handel erhältliche Wiedergabegeräte erlauben eine maximale Auflösung von bis zu 8 k. Die Apple Vision Pro wird bis zu 14 k möglich machen. Das in Verbindung mit dem Spatial Video-Format wird sich in der optischen Wirkung potenzieren. Funfact: Gerade hat ein mit Apple zusammenarbeitender Kamerahersteller eine 16K Kamera angekündigt.

Update Dezember 2024: Die Kamera ist nun für über 30.000 Euro erhältlich.

Vorschau 2: Volumetrisches Video

Nein, auch das Spatial Format ist nicht das Ende der Fahnenstange. Die nächste Stufe ist das volumetrisches Bildformat. Hier wird ein Ereignis von einem im 360 Grad Radius aufgebauten Multi-Kamerasystem rundherum aufgenommen. Das bedeutet im Ergebnis, ich werde auf einem Bildschirm oder mit einer VR-Brille in das Geschehen hineingehen und dort jeden beliebigen Blickwinkel einnehmen können. In der AR-Variante kann ich beispielsweise ein Fußballspiel z. B. auf meinem Tisch stattfinden lassen – wie ein Hologramm. Dafür gibt es bereits Anschauungsmaterial, das Ihr Euch im obigen Video anschauen könnt.

Viele Grüße aus Velbert

Gerhard Schröder