Was ist Spatial Video? Das neue Apple-Vision-Pro-Videoformat — USD Updates

Mit der Vorstellung der Apple Vision Pro zeigte Apple auch ein neues Videoformat, Spatial Video. Und jetzt die spannende Frage, was genau ist Spatial Video? Mein Name ist Gerhard Schröder. In diesem YouTube-Kanal geht es immer um Apple, AR, immersive Dinge, wie das alles zusammenpasst. Und da gab es eine Zuschauerfrage und ich dachte, super, das ist eine Gelegenheit, direkt da mal ein Video draus zu machen. Also, was ist Spatial Video? Und um das Ganze zu erklären, was es wirklich genau ist und nicht das, was Meta denkt, was die daraus machen, dazu gibt es diesmal ein etwas längeres Video im Sinne von, es gibt hier ein paar Kapitelmarken. Wer also gesehen zu einem gewissen Punkt springen möchte, unten am Ende gibt es entsprechend die Möglichkeit, bei YouTube Kapitelmarken anzufahren. Hier nochmal auch die Timecodes dazu. Jetzt also die spannende Frage, was ist 3D-Video? Stereoskopisches Video auch genannt. Fachlich korrekt. Kennen wir alle aus dem Kino. Man hat für linkes und rechtes Auge ein eigenes Bild, damit ein dreidimensionaler Eindruck von einer Videoszene entsteht. Das ist eine von den wichtigen Merkmalen vom Stichwort Spatial Video, dass ich also ein 3D-Video habe. Stereoskopisches Video. Ein Video von mir zu einem autostereoskopischen Monitor und was das mit der Apple Vision Pro zu tun hat, gibt es hier oben auch entsprechend verlinkt. Da erkläre ich das Frontdisplay von der Apple Vision Pro. Aber zurück zum Thema. In diesem gesamten Kontext noch ganz kurz eine kleine Ergänzung und zwar 3D-Foto. Mit diesem Telefon hier kann ich seit einigen Jahren, also mit iPhones, Fotos machen. Seit ungefähr, korrigiere ich aber, 2017 gibt es die Standardfunktion, das wissen wir alle nicht, das hat Apple uns nicht verraten, dass jedes Foto, was ich mit dem iPhone mache, nebenbei in der gespeicherten Datei eine kleine 3D-Landkarte speichert. Eine tiefe Landkarte. Das ist vor einigen Jahren genutzt worden, direkt von Facebook, für eine Funktion, die auf Facebook mich auch 3D-Foto hieß. Hier mal zum Beispiel Videosequenz. Videosequenz gibt es ein älteres Erklärvideo von mir dazu. Und diese ganzen heimlich gespeicherten 3D-Informationen kann ich mir bestimmt demnächst mit jeder Apple Vision Pro einfach so anschauen, dass ich auch jedes Geburtstags- und Hochzeitsfoto der letzten Jahre oder sonst so Urlaubserinnerungen mir einfach anschauen kann und das Ganze dann auf der Apple Vision Pro in 3D mir anschauen kann. Auf die Funktion warte ich noch, die ist naheliegend, die werden Sie bestimmt bald nachreichen. Ein anderes Format und zwar VR180. Das ist ein Videoformat, auch ein stereoskopisches Video, also ein 3D-Videoformat, was eingeführt wurde von der Firma YouTube. Beim VR180 Format ist es so, dass ich nicht nur gerade ausschauen kann, sondern dass so gesehen ja das Kamerasystem ein großes Fischauge auch noch mehr aufnimmt. oben drüber, unten drunter, rechts und links. Das heißt, ich kann als Zuschauer dann auch nach rechts und links und oben und unten schauen. Hier oben verlinke ich jetzt mal gerade ein Beispiel VR180 Video. Da kann man jetzt, wenn man sich das Video auf YouTube anschaut, auch mit dem Mauszeiger beim Video betrachten, dann nach links, rechts, oben und unten ein bisschen schwenken. Wer das mal ausprobieren möchte. Dieses Videoformat von YouTube gibt es inzwischen aber auch auf verschiedenen Geräten, wie zum Beispiel der MetaFest 3. Ein alternativer Ansatz, den haben wir auch schon recht häufig umgesetzt, sind ja 360-Grad-Videos. Das ist so der Klassiker. Das sind Videos, bei denen man sich einmal komplett auch umschauen kann. Was unterscheidet jetzt ein stereoskopisches Video von einem Spatial-Video? Erstens, bei einem normalen 3D stereoskopischen Video ist der gesamte Sichtbereich alles wirklich ein 3D-Video. Bei einem Spatial-Video schaue ich wie durch ein Fenster auf einen gewissen Bereich nur. Und dieser Bereich, wenn ich den mit einem iPhone der neuesten Baureihe normal filme, hat eine Auflösung von ungefähr 1000x1000 Pixel. Es gibt jetzt sogar eine extra App, mit der man bis zu 4000x4000 Pixel filmen kann in diesem neuen Format. Bei einem Spatial Video kann ich nicht nur so gesehen diesen 3D-Ausschnitt sehen, sondern was ich tatsächlich tun kann, ist, ich kann ein kleines bisschen wie ein kleines bisschen um die Ecke schauen. Und das haben wir hier auch als Computeranimationsszene mal. Man sieht, man kann ein kleines bisschen den Bereich sehen, den man nicht beim Geradeaus schauen kann. Passiert dadurch, dass tatsächlich die entsprechende Kamera, mit der man das Ganze filmt, nicht nur so gesehen diesen Fensterausschnitt filmt, sondern auch ein bisschen Bereich rundherum mehr mit filmt. Und dadurch erlaubt es dieses Videoformat auch so ein kleines bisschen, ich sag jetzt mal, wie durch ein Fenster an den Rand um die Ecke zu schauen. Das Letzte, dieses ein kleines bisschen um die Ecke schauen, das kann das Videoformat, was auf einer MetaQuest 3 jetzt als Spatial Video läuft, nicht. Also es ist in Ehrlichkeit kein echtes Spatial Video, sondern nur ein stereoskopisches Video durch ein Fenster. Für alle MetaQuest-Fans, hier ist die Gelegenheit, in der Kommentarspalte in die Diskussion einzusteigen. Das nächste und vielleicht sogar noch viel wichtiger an der Stelle ist das Thema, wie das Dateiformat generell funktioniert. Bei einem 3D-stereoskopischen Video ist es so, dass bei jedem Standard-Videodatei es Folgendes passiert. Ich habe entweder zwei komplette Videobilder fürs rechte und linke Auge nebeneinander oder über untereinander angeordnet. Hat folgende Situation, wenn die Bilder nebeneinander sind, die Videoteile ist ja nicht ungleich doppelt so breit, das heißt, ich habe weniger Pixel in der Breite oder ich habe weniger Pixel in der Höhe. Apple hat sich gesagt, nö, das machen wir nicht. Wir lösen es so wie bei einem Rätsel, wie bei einem Bilderrätsel. Kennt jeder, finde in diesen beiden Bildern sieben Unterschiede, auf dem einen sind Äpfel drauf, auf dem anderen nicht zum Beispiel. Und so funktioniert das auch das Spatial Video Videoformat von Apple tatsächlich. Ich habe also nur für ein Auge eigentlich das Videobild und es werden dann zusätzlich gespeichert nur die Unterschiede zwischen beiden Bildern fürs zweite Auge. Ehrlicherweise muss man sagen, bei all diesen ganzen 3D-Videoformaten gibt es immer eine kleine Einschränkung. Gut funktioniert tut dieser 3D-Eindruck nur auf gewissen Abständen und Entfernung. Das ist aber auch schon bei anderen Videoformaten, die VR180 und so weiter, immer schon so gewesen. Ist immer so ungefähr ab Armeslänge bis 23 Meter Entfernung, in dem Bereich kann man sehr gut diesen 3D-Eindruck auch wirklich transportieren. Was weit weg ist, sind unsere Augen eigentlich gar nicht so richtig darauf eingestellt, tatsächlich zum Unterschied festzustellen. Der Rest macht unser Gehirn und sagt, das da ist weiter hinten, also nehme ich das auch schon anders wahr. Kleinigkeit am Rande. Die maximale Auflösung, die man mit handelsüblichen Kamerasystemen erreichen kann, ist eine 8K Videoqualität. Liegt einfach daran, die Kameras können an der Stelle nicht mehr. Für die Apple Vision Pro, wenn verfügbar, wäre es sogar möglich oder notwendig, mit bis zu 14K Videoqualität aufzuzeichnen. Das erklärt auch vielleicht, warum Apple diesen speziellen neuen Komprimierungsalgorithmus mit rechten und linken Augeunterschieden eingeführt hat. Gibt es momentan aber nicht am Markt. Also von daher, wer eine Apple Vision Pro hat, hat momentan ein besseres Wiedergabegerät als das, was es momentan irgendwie am Markt als Kamerasystem gibt. Da wird sicherlich was noch passieren. Nach dem Spatial Video gesehen nochmal, was ist denn die nächste Stufe on top nach Spatial Video? Und das wäre volumetrisches Video. Vielleicht noch nie von gehört, ich erkläre es auch hier in dem Video. Ein volumetrisches Video ist ein Video, in dem ich so gesehen hindurch gehen kann. Das bedeutet, mit einem speziellen Kamerasystem wird eine Szene, ein Raum von allen Seiten gleichzeitig gefilmt. Und dann kann ich mit einer VR-Brille oder zum Beispiel mit einer Lösung, vielleicht mit einem iPad und dann in AR irgendwas in den Raum projizieren und dann hindurch gehen. In der Apple Keynote haben die ein solches Beispiel gezeigt. Und zwar war das dort das Beispiel eines Sportereignisses, das ich dann mit der Apple Vision Pro auf dem Tisch stehen hatte, wie ein kleines Tischmodell, das ganze Spielfeld auf dem Tisch und ich kann mir alles aus allen Winkeln anschauen. Dazu gibt es sogar in Deutschland spezielle Kamerasysteme und spezielle Aufzeichnungsräume. Volumetrisches Video ist so gesehen dann die nächste Stufe on top, die uns in den nächsten Jahren immer mehr alle gemeinsam erfreuen wird. Wer jetzt noch weitere Fragen hat, bitte in die Kommentarspalte schreiben. Und wer Antworten sucht, dafür habe ich jetzt hier sogar noch zwei weitere Video-Vorschläge. Das eine ist ein Video von mir, in dem ich erkläre, was ist Fotogrammetrie, also 3D-Fotos aufnehmen. Und unten drunter habe ich noch ein Video zum Themenbereich, was ist AR-Quicklook. Noch nie von gehört? Das ist der spezielle technische Standard, mit dem Apple AR-Inhalte auf dem Smartphone, auf dem Tablet und mit der Apple Vision Pro darstellt. Ich freue mich gerne auf weitere Fragen und bei passender Zeit gibt es von mir auch wieder neues Video dazu mit Antworten. Over and out.