Apple zeigt Echtzeitschatten in Augmented Reality. Eine neue Allianz soll USD standardisieren. Und Adobe und Autodesk arbeiten an einem neuen MaterialX-Shader. Willkommen bei USD-Updates mit Neuigkeiten rund um das Thema OpenUSD, USDZ, Augmented Reality, hauptsächlich im Apple-Universum. Hier gibt es ab sofort einen kurzen Überblick über die News. Anschließend gibt es ein Deep Dive mit Thomas — heute zum Thema MaterialX im Reality Composer Pro.
Echtzeitschatten in AR Quick Look
Nach einem Update berechnet AR Quick Look nun die Schatten in Echtzeit. Sehen kann man das bereits mithilfe spezieller Software, die das visionOS von Apples kommender AR-Brille Vision Pro simuliert. Die Schatten werden passend zur realen Lichtsituation der Umgebung dargestellt und lassen die Objekte dadurch wesentlich plastischer und echter wirken.
Vielleicht verrät uns dieses Feature sogar etwas über die Hardware der Vision Pro. Denn besonders effizient lassen sich diese Effekte durch sogenanntes Hardware Path Tracing berechnen — das bereits mit dem A17 Pro Chip im neuen Apple iPhone Pro verbaut ist. Auch die kommende Chip-Generation M3 wird dieses Feature mitbringen. Da läge es natürlich nahe, diesen Chip auch in der Vision Pro einzubauen. Bestätigt ist dies allerdings noch nicht.
Alliance for OpenUSD gegründet
USD standardisieren und gemeinsam weiterentwickeln — mit diesem Ziel hat sich Anfang August die Alliance for OpenUSD gegründet, kurz AOUSD. Partner in dieser Alliance: Pixar, also die eigentlichen Erfinder dieses Dateiformats, sowie Adobe, Apple, Autodesk und Nvidia. Die Allianz wird Spezifikationen für USD festlegen, die eine noch größere Interoperabilität ermöglichen sollen.
Interessant ist jedenfalls, dass auch Unterstützer des GLTF-Standards — also der konkurrierenden Technologie — Interesse bekundet haben. So hat sich die Firma Cesium, die auf Abbildungen von Geodaten spezialisiert ist, bereits ihre Teilnahme bekannt gegeben. Auch die Khronos Group — ein Konsortium aus über 150 Firmen aus dem 3D-Bereich — hat Interesse an der Zusammenarbeit bekundet und freut sich Zitat auf eine enge Zusammenarbeit, um Synergien mit Khronos-Standards wie GLTF herzustellen.
Wir sind gespannt — auch IKEA zählt zu den Mitgliedern. IKEA hat bereits Teile seines Nürburgring-Katalogs in Form von 3D-Modellen zugänglich gemacht, bisher jedoch nicht als USD. Und wir bleiben beim Thema Standardisierung von Dateiformaten.
OpenPBR
Der Open-Source-Standard MaterialX bekommt Zuwachs. Bisher diente das Projekt dazu, Materialeigenschaften zu beschreiben und softwareübergreifend einsetzbar zu machen. Das dazugehörige Shader-Modell erhält nun einen Nachfolger und wird gemeinsam von Autodesk und Adobe entwickelt — trägt den Namen OpenPBR. Die beiden Softwarehersteller haben dafür ihre bisher leicht unterschiedlichen Beschreibungen von realistischen Oberflächen vereinheitlicht und einigten sich auf einen gemeinsamen Standard, der sowohl als XML-Datei wie auch in USD gespeichert wird.
Die Entwicklung des neuen OpenPBR-Standards ist noch nicht abgeschlossen. Wenn es soweit ist, wird jede Software, die MaterialX einsetzt, diesen Entwicklungssprung mitmachen — also auch Apples Reality Composer Pro.
Das war es mit unserem Nachrichtenüberblick.
Deep Dive: MaterialX im Reality Composer Pro
Passend zu den Nachrichten um MaterialX werfen wir heute einen ganz genauen Blick auf den visionOS-Simulator und das Thema MaterialX im Reality Composer — mit Thomas Kumlehn.
Die Entwicklerumgebung — der Simulator für eine visionOS- oder Vision Pro-Entwicklung — wurde zur Verfügung gestellt. Jetzt kann man sich das Ganze anschauen. Thomas hat auch schon eine kleine Miniszene vorbereitet.
Wir sind jetzt so gesehen in der Ansicht, als wenn wir eine Brille aufhätten im ersten Menü. Im Hintergrund gibt es verschiedene 3D-Szenarien. Links unten gibt es den Dateibrowser — und da liegt jetzt eine total spannende Datei drin. Thomas, präsentiere sie.
Was passiert, wenn ich so eine USDZ-Datei aus dem neuen Reality Composer Pro aufmache und hier platziere? Ja, ich kann das dann in meinem Raum platzieren. Ich kann sie mit einer Pinch-Geste größer machen und mit einer Dreh-Geste das Objekt verändern.
Okay, jetzt wird natürlich jeder sagen — das ist ja wahnsinnig spannend, das ist ein Würfel. Aber jetzt kommt die wahre Magie: nicht dass es ein einfacher Klotz von 1x1x1 in Minecraft-Größe ist, sondern die Textur ist ja eigentlich jetzt die wahre Magie. Das ist jetzt ein Jeans-Stoff, den ich testweise mal mit dem neuen Reality Composer Pro draufgelegt habe auf diesen Standardwürfel.
MaterialX Node-Editor
Ich schalte mal um auf den Reality Composer Pro. Hier haben wir einen Würfel, der durch den Plus-Operator hinzugefügt werden kann. Den kann ich dann entsprechend groß machen, entsprechend platzieren in der Szene. Jetzt steht er oberhalb des Nullpunktes und dann habe ich die Möglichkeit, dort entweder ein bisher schon etabliertes Materialsystem zu verwenden oder — das ist jetzt neu — eine MaterialX-Materialbeschreibung.
Wenn ich das mache, dann bekomme ich hier auch zusätzlich noch die Option, dass ich mit Nodes, mit einem Node-basierten Shader-Editor arbeiten kann. Und dann habe ich auch noch ein schönes Preview-Fenster für die Lichtschule.
Was ja eigentlich für eine relativ kleine Geschichte schon ziemlich großartig ist. Das kennt man sonst aus Animationsprogrammen. Das kennt man sonst aus dem Themenbereich Videoschnitt — Da Vinci Resolve oder so. Also eigentlich ein richtig mächtiges Werkzeug.
Was ich interessant finde, ist, dass das sehr stark angelehnt ist auch an die bisher schon etablierte USD Preview Surface-Struktur — mit einem kleinen wichtigen Unterschied. Die Normal Map, die hier verarbeitet wird, habe ich hier über einen Multiplikations- und einen Additionsoperator in einen rechentechnisch guten Wertebereich hineingeschoben. Und da gibt es bestimmte Tricks, wie ich zwar in der Datei Werte von 0 bis 1 abspeichere, aber das dann nachher anderweitig nutzen kann.
Geometry Modifier und Displacement Maps
Und was ich sehr interessant finde: Hier gibt es zusätzlich zu dem Endresultat, wie die Oberfläche aussehen soll, auch noch den sogenannten Geometry Modifier. Bedeutet, dass RealityKit speziell für visionOS jetzt auch mit MaterialX Displacement Maps machen kann. In jedem Frame neu erzeugt. Da kann man also richtig Wellenbewegungen und sowas machen.
Das heißt, möchtest du damit sagen, dass das, was wir in der Keynote gesehen haben als Hintergrund zum Kinofilm — diese Landschaft mit dem See — dass das eine RealityKit-Szene war, die in Echtzeit berechnet worden ist? Das ist eine RealityKit-Szene, genau.
Das ist schon großartig. Ja, aber es ist noch eine große Baustelle, weil sie viele Sachen noch nicht explizit genau beschrieben haben und auch noch nicht freigegeben haben.
Was noch nicht geht
Momentan geht diese Datei noch nicht durch: Also da gibt es jetzt eine Phase, wo die shiny neuen Sachen auf der Vision Pro selbst oder im Vision Pro-Simulator funktionieren. Aber dieselben Sachen funktionieren leider nicht mit alten Dateien — und leider auch nicht auf iPads und iPhones.
Bleibt es also abzuwarten, ob bis zum September oder so irgendwann mal vielleicht auch die Entwicklungsumgebung für iPhone und iPad auch mit solchen Sachen ergänzt wird oder nicht. Aber das ist eine Sache für die Zukunft.
In dem Zusammenhang — Apple hatte ja auch vor anderthalb Jahren diesen Vorschlag gemacht mit dem model HTML Element. Und in der Diskussion haben sie sehr darum gebeten, auch MaterialX als Materialbeschreibungen zu unterstützen. Das war ein klares Zeichen: wenn es für Safari kommt, dann ist dort auch MaterialX drin.
Danke Thomas für den Einblick. Wir sehen uns in zwei Wochen wieder mit den aktuellen Nachrichten zum Thema USD und dem nächsten Deep Dive. Drückt auf Subscribe und lasst uns einen Like da. Bis zum nächsten Mal.
