Von 2D zu 3D: Wie das Web spatial wird und was Unternehmen davon haben

Mit der Vorstellung der Apple Vision Pro zeigte Apple auch ein neues Videoformat, Spatial Video.

Und jetzt die spannende Frage, was genau ist Spatial Video?

Mein Name ist Gerhard Schröder. In diesem YouTube-Kanal geht es immer um Apple, AR, immersive Dinge, wie das alles zusammenpasst.

Und da gab es eine Zuschauerfrage und ich dachte, super, das ist eine Gelegenheit, direkt da mal ein Video draus zu machen.

Also, was ist Spatial Video?

Und um das Ganze zu erklären, was es wirklich genau ist und nicht das, was Meta denkt, was die daraus machen,

dazu gibt es diesmal ein etwas längeres Video im Sinne von, es gibt hier ein paar Kapitelmarken.

Wer also gesehen zu einem gewissen Punkt springen möchte, unten am Ende gibt es entsprechend die Möglichkeit,

bei YouTube Kapitelmarken anzufahren.

Hier nochmal auch die Timecodes dazu.

Jetzt also die spannende Frage, was ist 3D-Video? Stereoskopisches Video auch genannt.

Fachlich korrekt.

Kennen wir alle aus dem Kino.

Man hat für linkes und rechtes Auge ein eigenes Bild, damit ein dreidimensionaler Eindruck von einer Videoszene entsteht.

Das ist eine von den wichtigen Merkmalen vom Stichwort Spatial Video, dass ich also ein 3D-Video habe.

Stereoskopisches Video.

Ein Video von mir zu einem autostereoskopischen Monitor und was das mit der Apple Vision Pro zu tun hat,

gibt es hier oben auch entsprechend verlinkt.

Da erkläre ich das Frontdisplay von der Apple Vision Pro.

Aber zurück zum Thema.

In diesem gesamten Kontext noch ganz kurz eine kleine Ergänzung und zwar 3D-Foto.

Mit diesem Telefon hier kann ich seit einigen Jahren, also mit iPhones, Fotos machen.

Seit ungefähr, korrigiere ich aber, 2017 gibt es die Standardfunktion, das wissen wir alle nicht, das hat Apple uns nicht verraten,

dass jedes Foto, was ich mit dem iPhone mache, nebenbei in der gespeicherten Datei eine kleine 3D-Landkarte speichert.

Eine tiefe Landkarte.

Das ist vor einigen Jahren genutzt worden, direkt von Facebook, für eine Funktion, die auf Facebook mich auch 3D-Foto hieß.

Hier mal zum Beispiel Videosequenz.

Videosequenz gibt es ein älteres Erklärvideo von mir dazu.

Und diese ganzen heimlich gespeicherten 3D-Informationen kann ich mir bestimmt demnächst mit jeder Apple Vision Pro einfach so anschauen,

dass ich auch jedes Geburtstags- und Hochzeitsfoto der letzten Jahre oder sonst so Urlaubserinnerungen mir einfach anschauen kann

und das Ganze dann auf der Apple Vision Pro in 3D mir anschauen kann.

Auf die Funktion warte ich noch, die ist naheliegend, die werden Sie bestimmt bald nachreichen.

Ein anderes Format und zwar VR180. Das ist ein Videoformat, auch ein stereoskopisches Video, also ein 3D-Videoformat, was eingeführt wurde von der Firma YouTube.

Beim VR180 Format ist es so, dass ich nicht nur gerade ausschauen kann, sondern dass so gesehen ja das Kamerasystem ein großes Fischauge auch noch mehr aufnimmt.

oben drüber, unten drunter, rechts und links.

Das heißt, ich kann als Zuschauer dann auch nach rechts und links und oben und unten schauen.

Hier oben verlinke ich jetzt mal gerade ein Beispiel VR180 Video.

Da kann man jetzt, wenn man sich das Video auf YouTube anschaut,

auch mit dem Mauszeiger beim Video betrachten, dann nach links, rechts, oben und unten ein bisschen schwenken.

Wer das mal ausprobieren möchte.

Dieses Videoformat von YouTube gibt es inzwischen aber auch auf verschiedenen Geräten,

wie zum Beispiel der MetaFest 3.

Ein alternativer Ansatz, den haben wir auch schon recht häufig umgesetzt, sind ja 360-Grad-Videos.

Das ist so der Klassiker. Das sind Videos, bei denen man sich einmal komplett auch umschauen kann.

Was unterscheidet jetzt ein stereoskopisches Video von einem Spatial-Video?

Erstens, bei einem normalen 3D stereoskopischen Video ist der gesamte Sichtbereich alles wirklich ein 3D-Video.

Bei einem Spatial-Video schaue ich wie durch ein Fenster auf einen gewissen Bereich nur.

Und dieser Bereich, wenn ich den mit einem iPhone der neuesten Baureihe normal filme, hat eine Auflösung von ungefähr 1000x1000 Pixel.

Es gibt jetzt sogar eine extra App, mit der man bis zu 4000x4000 Pixel filmen kann in diesem neuen Format.

Bei einem Spatial Video kann ich nicht nur so gesehen diesen 3D-Ausschnitt sehen, sondern was ich tatsächlich tun kann, ist, ich kann ein kleines bisschen wie ein kleines bisschen um die Ecke schauen.

Und das haben wir hier auch als Computeranimationsszene mal.

Man sieht, man kann ein kleines bisschen den Bereich sehen, den man nicht beim Geradeaus schauen kann.

Passiert dadurch, dass tatsächlich die entsprechende Kamera, mit der man das Ganze filmt,

nicht nur so gesehen diesen Fensterausschnitt filmt, sondern auch ein bisschen Bereich rundherum mehr mit filmt.

Und dadurch erlaubt es dieses Videoformat auch so ein kleines bisschen, ich sag jetzt mal, wie durch ein Fenster an den Rand um die Ecke zu schauen.

Das Letzte, dieses ein kleines bisschen um die Ecke schauen, das kann das Videoformat, was auf einer MetaQuest 3 jetzt als Spatial Video läuft, nicht.

Also es ist in Ehrlichkeit kein echtes Spatial Video, sondern nur ein stereoskopisches Video durch ein Fenster.

Für alle MetaQuest-Fans, hier ist die Gelegenheit, in der Kommentarspalte in die Diskussion einzusteigen.

Das nächste und vielleicht sogar noch viel wichtiger an der Stelle ist das Thema, wie das Dateiformat generell funktioniert.

Bei einem 3D-stereoskopischen Video ist es so, dass bei jedem Standard-Videodatei es Folgendes passiert.

Ich habe entweder zwei komplette Videobilder fürs rechte und linke Auge nebeneinander oder über untereinander angeordnet.

Hat folgende Situation, wenn die Bilder nebeneinander sind, die Videoteile ist ja nicht ungleich doppelt so breit,

das heißt, ich habe weniger Pixel in der Breite oder ich habe weniger Pixel in der Höhe.

Apple hat sich gesagt, nö, das machen wir nicht.

Wir lösen es so wie bei einem Rätsel, wie bei einem Bilderrätsel.

kennt jeder finde in diesen beiden bildern sieben unterschiede auf dem einen sind

äpfel drauf auf dem anderen nicht zum beispiel und so funktioniert das auch

das special video video format von apple tatsächlich habe ich also nur für ein

auge eigentlich das video bild und es werden dann zusätzlich gespeichert nur

die unterschiede zwischen beiden bildern fürs zweite auge ehrlicherweise muss man

sagen bei all diesen ganzen 3d video formaten gibt es immer eine kleine

einschränkung gut funktioniert tut dieser 3d eindruck nur auf gewissen

abständen und entfernung ja das ist aber auch schon bei anderen videoformaten

die vr 180 und so weiter immer schon so gewesen ist immer so ungefähr ab armes

länge bis 23 meter entfernung in dem bereich kann man sehr gut diesen 3d

eindruck auch wirklich transportieren was weit weg ist sind unsere augen

eigentlich gar nicht so richtig darauf eingestellt tatsächlich zum unterschied

festzustellen. Der Rest macht unser Gehirn und sagt, das da ist weiter hinten, also nehme ich das auch schon

anders wahr. Kleinigkeit am Rande. Die maximale Auflösung, die man mit handelsüblichen Kamerasystem

menschen erreichen kann, ist eine 8K Videoqualität. Liegt einfach daran, die Kameras können an der

Stelle nicht mehr. Für die Apple Vision Pro, wenn verfügbar, wäre es sogar möglich oder notwendig,

mit bis zu 14K Videoqualität aufzuzeichnen.

Das erklärt auch vielleicht, warum Apple diesen speziellen neuen Komprimierungsalgorithmus

mit rechten und linken Augeunterscheiden eingeführt hat.

Gibt es momentan aber nicht am Markt.

Also von daher, wer eine Apple Vision Pro hat, hat momentan ein besseres Wiedergabegerät

als das, was es momentan irgendwie am Markt als Kamerasystem gibt.

Da wird sicherlich was noch passieren.

Nach dem Spatial Video gesehen nochmal, was ist denn die nächste Stufe on top nach Spatial Video?

Und das wäre volumetrisches Video.

Vielleicht noch nie von gehört, ich erkläre es auch hier in dem Video.

Ein volumetrisches Video ist ein Video, in dem ich so gesehen hindurch gehen kann.

Das bedeutet, mit einem speziellen Kamerasystem wird eine Szene, ein Raum von allen Seiten gleichzeitig gefilmt.

Und dann kann ich mit einer VR-Brille oder zum Beispiel mit einer Lösung,

vielleicht mit einem iPad und dann in AR irgendwas in den Raum projizieren

und dann hindurch gehen.

In der Apple Keynote haben die ein solches Beispiel gezeigt.

Und zwar war das dort das Beispiel eines Sportereignisses,

das ich dann mit der Apple Vision Pro auf dem Tisch stehen hatte,

wie ein kleines Tischmodell, das ganze Spielfeld auf dem Tisch

und ich kann mir alles aus allen Winkeln anschauen.

Dazu gibt es sogar in Deutschland spezielle Kamerasysteme

und spezielle Aufzeichnungsräume.

Volumetrisches Video ist so gesehen dann die nächste Stufe on top,

die uns in den nächsten Jahren immer mehr alle gemeinsam erfreuen wird.

Wer jetzt noch weitere Fragen hat, bitte in die Kommentarspalte schreiben.

Und wer Antworten sucht, dafür habe ich jetzt hier sogar noch zwei weitere Video-Vorschläge.

Das eine ist ein Video von mir, in dem ich erkläre, was ist Fotogrammetrie, also 3D-Fotos aufnehmen.

Und unten drunter habe ich noch ein Video zum Themenbereich, was ist AR-Quicklook.

Noch nie von gehört?

das ist der spezielle technische standard mit den apple ar inhalte auf dem smartphone auf dem tablet

und in der mit der apple vision pro darstellt ich freue mich gerne auf weitere fragen und bei

passender zeit gibt es von mir auch wieder neues video dazu mit antworten over and out ich brauche

Was sind und wofür gibt es Environments auf der Apple Vision Pro?

Wir kennen alle noch Bildschirmhintergründe für unseren alten Windows-Computer.

Also damals.

Mit einer schönen Landschaft oder einem Palmenstrand.

Und sowas übertragen in die virtuelle Welt ist ein Environment.

Das bedeutet, wenn ich meine Apple Vision Pro aufhabe und an der kleinen Krone drehe,

kann ich dafür sorgen, dass ich nicht die Realität als Umgebung sehe,

sondern dass ich in einer virtuellen Landschaft sitze und meinen realen, unaufgeräumten Schreibtisch

oder ähnliche Dinge mich nicht weiter stören kann.

Ich sehe dann meine einen oder mehrere Monitore und sonstige Apps,

die ich alle in dieser virtuellen Umgebung, in diesem Bildschirmhintergrund, mir angeordnet habe.

Jetzt die Frage, was genau ist eigentlich ein Environment?

Also im Sinne von, es sieht ja schön aus, es sind tolle Landschaften oder ich bin auf dem Mond oder auf irgendwelchen anderen Planeten.

Aber was genau ist das eigentlich?

Erster Mythos, es ist ein 360-Grad-Video.

Nein, das ist es definitiv nicht.

Was 360-Grad-Video, Spatial-Video, Foto und Immersive-Video und Ähnliches sind, das habe ich in diesem Video hier erklärt.

Environments sind 3D-Landschaften.

Und dazu habe ich jetzt mal, um das zu erklären, Achtung, Holzklötze mitgebracht.

Das hier ist die Person, die jetzt die Appell Vision Pro auf hat.

Also Kopf, Körper.

Und in dem Umkreis rundherum, in dem ich mich jetzt gerade befinde, kann ich in alle Richtungen schauen und sehe entsprechend an der Landschaft ein Environment.

Wenn ich mich jetzt aber vom Fleck weg bewege, verlasse ich so gesehen den sicheren Bereich meiner Umgebung.

Das hat Apple deswegen eingeführt, damit wer mit der Apple Vision Pro auf dem Kopf aufsteht und rumgehen möchte durch sein Büro oder seine Wohnung, nicht über den realen Tisch oder ähnliche Dinge stolpern kann.

Darum diese Sicherheitsfunktion.

Das heißt, wenn ich hier mich aufhalte, an einer Stelle, bin ich so gesehen in meiner Umgebung, in meinem Environment und das kann ich verlassen.

Jetzt hat Apple aber so eingestellt, dass meine Umgebung nicht nur ein Bereich von 1x1 Meter ist, sondern tatsächlich sind es 3x3 Meter.

und in dem Bereich habe ich einen Parallax-Effekt.

Das heißt, wenn ich mich umschaue und ein bisschen mich hin und her bewege,

dann kann ich ein kleines bisschen auch um die Gegenstände herumschauen.

Mit Absicht ist es in diesem Environment so angeordnet,

dass in meiner direkten Nähe erstmal die Fläche auch frei ist,

damit ich mich auch nicht bedrängt fühle oder damit zum Beispiel meine Fenster,

die ich da platziert habe, nicht irgendwo hinter irgendwelchen Gegenständen gefühlt verschwinden

oder das in der Tiefe des Raums sich unangenehm anfühlt.

Also, auch wenn ich nur auf 1x1 Meter Fläche ungefähr mich dort bewegen kann,

zartfällig ist die Fläche eigentlich 3x3 Meter.

Genau genommen ist die Fläche sogar noch viel größer, und zwar 9x9 Meter.

Und in diesem Bereich ist das Ganze in Wirklichkeit ein 3D-Modell im Datenformat USDZ.

Mehr zum Themenbereich USDZ in diesem Video.

Im Environment stehe ich ja also jetzt in der Mitte, habe die 3x3 Meter Fläche um mich herum und den 9x9 Meter gesamt großen 3D Raum.

Ein Teil der Energie von Environments ist es, möglichst kleine der Dateien trotzdem zu erzeugen, 3D Objekte, die man auch auf einer Webseite schnell laden kann.

Und um das zu erzeugen, wendet Apple einen echten Meisterstreich an.

Und zwar stellen wir uns vor, in der 3D-Szene gibt es Objekte, die hier so gesehen irgendwo in der Landschaft stehen.

Jetzt sind ja in der 3D-Datei hier hinten Dinge drin, die man von dem Standpunkt aus gar nicht sehen kann.

Was dann passiert bei der Produktion von entsprechenden Environments ist, dass diese 3D-Elemente, mal exemplarisch rausgenommen, gar nicht in der 3D-Szene enthalten sind. Das sind Sachen, die ich von dem Standpunkt aus nicht sehen kann. Also sind sie nicht in der 3D-Szene.

Also es ist unsere Aufgabe in der Produktion von solchen Environments, diese 3D Elemente alle aufzubereiten, einzuarbeiten in die Szene und zu entscheiden mit einer Software,

was wird alles von dem 3D Element nicht benötigt, um die Datei möglichst klein und schlank und

trotzdem elegant zu machen und damit einen großartigen 3D Eindruck für die gesamte

Landschaft zu produzieren. Technisch gibt es verschiedene Arten wie man in 3D Environment,

wie man sowas hier produzieren kann. Das einfachste ist, man nimmt eine USDZ Datei,

die man vielleicht für ein Augmented Reality Projekt erzeugt hat, sowas wie wir es sonst

auch machen. Die zweite Variante ist 3D Elemente aufzubereiten, indem man erst eine Fotogrammetrie

durchführt. Was Fotogrammetrie ist, habe ich in einem anderen Video schon erklärt. Und damit

ein 3D Modell einer realen Umgebung zu erzeugen, damit wenn man das ganze sich in der Apple Vision

Pro anschaut auch einen echt tollen 3D Eindruck zum Beispiel von einer Werkseile hat. Das bedeutet,

Das Ganze ist eine 3D-Landschaft. Darum habe ich auch diesen realistischen Eindruck.

Es sieht aus wie ein Video, weil es bewegen sich auch Dinge in der Umgebung.

Aber es ist eigentlich eine in Echtzeit auf meiner Apple Vision Pro gerechnete 3D-Szene.

Wie so eine Computerspielegrafik.

Und das Besondere ist, diese Szenen, dieses Environment, das bietet die Apple Vision Pro wie Bildschirnhintergründe.

eine gewisse Auswahl.

Da kann ich am Strand stehen, auf dem Mond,

in der Wüstenlandschaft und so weiter und so gut.

Was es jetzt auch neu gibt

mit Vision

OS 26 ist die Möglichkeit

zu sagen, ich besuche

eine Webseite, Browserfenster Safari

in der Apple Vision Pro, gehe

auf eine Internetseite

und dann wird ein

neues Environment der Internetseite

geladen. Das wäre ähnlich, als wenn ich sagen würde,

zur Webseite gehört immer

ein passender Bildschirmhintergrund.

So muss man sich das vorstellen.

Und dann kann ich in einem Internetseiten-spezifischen 3D-Welt mich aufhalten.

Und gehe ich auf eine andere Unterseite der Internetseite, kann da schon wieder ein neues Szenario sein.

Das heißt, ich kann, wenn ich möchte, eine Art virtuellen Showroom oder eine 3D-Internetseite zu meiner normalen Internetseite mit dazu haben.

Und sowas setzen wir für Kunden schon jetzt mehrfach um.

Und in Vorbereitung auf den neuen Software Release Vision OS 26 haben wir sowas für mehrere Unternehmen schon vorbereitet.

Wer mehr zu dem ganzen Thema jetzt wissen möchte, in der Videobeschreibung gibt es noch ein, zwei weiterführende Links.

Fällt Spaß beim Ausprobieren.

Und hier an Seiten gibt es noch zwei weitere Videos von mir mit weiteren Informationen rund um den Themenbereich 3D und Environments.