Apple veröffentlicht bald iOS 16. Und schon sind erste Features im Bereich Augmented Reality zu iOS 17 zu erkennen. Dazu gehört das Thema drei verschiedene Texturenarten für AR. Dreimal Texturen.
Thomas, drei verschiedene Ansätze zu Texturen. Du sagtest die Tage am Telefon zu mir, das fühlt sich so ein bisschen an, als ob da drei getrennte Entwickler-Teams irgendwie parallel arbeiten.
Grundlagen: Texturen in 3D-Modellen
Fangen wir doch erstmal mit den Grundlagen an. 3D-Modelle bestehen aus einem Drahtgitter-Modell — wie lang, wie hoch und breit. Und dann gibt es eine Beschreibung der Oberflächen. Das ist typischerweise, so wie die meisten Leute kennen, JPEG — grafisches Dateiformat zur Komprimierung von Bildinformationen.
Dann haben wir in einem Video schon vorgestellt, dass es auch Videotexturen schon seit ein paar Monaten gibt. Und zwar seit der vorletzten Apple Keynote. Denn da haben sie schon das erste Mal Videotexturen gezeigt.
Apple hat einige AR-Experiences für die eigenen Produkte herausgegeben im Reality-Dateiformat. Und da werden offensichtlich animierte Textursequenzen — also Video-Texturen — verwendet. Und in ihrem Reality-Kit gibt es auch die Möglichkeit, eine Textur aus einem kurzen Video zu laden. Also nicht ein abendfüllender Spielfilm, sondern 20 verschiedene Frames. Aber das ist sehr hilfreich für bewegte Animationen, für Texturen, in denen was passiert.
JPEG, PNG, HEIF: drei Formate im Vergleich
Es gibt bei der Art und Weise, wie Texturen gespeichert werden, unterschiedlich effiziente Möglichkeiten. Da gibt es das JPEG-Dateiformat. Dann gibt es das verlustfreiere PNG-Dateiformat, was aber mehr Platz benötigt — also größere Dateien erzeugt. Und das wollen wir im Internet meistens nicht — die Download-Größen minimieren.
In den letzten Jahren hat Apple auch immer mehr ein neues Dateiformat für Fotos und kurze Videos verwendet: das HEIF- oder HEVC-Dateiformat, was ursprünglich Nokia als internationalen Standard etabliert hat. Das ist wirklich sehr kompakt. Das Fotoformat Live-Foto auf dem iPhone ist genau diese Datei.
Apple ist jetzt dazu übergegangen, in den Tools, mit denen man auf dem Mac solche AR-Experiences zusammenstellen kann, auch zu sagen: nimm doch mal dieses neue Dateiformat. Das ist sehr viel kleiner, erzeugt dann ganz kleine herunterladbare Dateien — funktioniert aber nicht mehr auf den ganz alten iPhones. Die können nur JPEGs und PNG-Dateien verarbeiten.
Da wird es die Herausforderung sein, zu erkennen: benutzt da jemand ein älteres Modell oder ein älteres Betriebssystem? Ja — stelle eine andere Variante der AR-Experience zur Verfügung, die vielleicht größer, aber kompatibel zum älteren Modell ist.
Videotexturen: schon intern in Nutzung
Die Möglichkeit der Videosequenzen haben sie noch nicht ganz öffentlich gemacht, aber sie verwenden es schon intern. Wir haben ja schon eine Datei uns davon angeschaut in einem anderen Video — das war das Einladungs-Icon zur vorletzten Keynote. Das animierte Apple-Logo mit Leuchtstrahlen — animierte Texturen.
Displacement-Texturen: eingebaut, aber noch nicht freigeschaltet
Was Apple schon seit Jahren immer wieder betont hat: Es gibt neben der Polygonmodellierung auch Subdivision-Surface-Beschreibung als Oberfläche. Das ermöglicht erstens kompakte Daten, zweitens ganz glatte Oberflächen ohne riesig viele Polygone. Und was noch interessanter ist: Man kann feine Strukturen beschreiben — Lederoberfläche, die kleinen Falten, Holzmaserung.
Heutzutage versucht man das mit sogenannten Normal Maps zu simulieren — das sieht von oben betrachtet gut aus, aber wenn man von der Kante guckt, ist es immer noch platt. Da gibt es in der Technologie sogenannte Displacement-Shader oder Displacement-Texturen. Apples Teams haben das bereits eingebaut — dürfen es aber noch nicht zeigen. Das sieht man in den Dateien, dass es so halb ausgebaut ist.
MaterialX: der Hollywood-Standard kommt in AR
Und jetzt nochmal ein Ausblick in die Zukunft, die eigentlich schon gar nicht mehr so weit entfernt ist — und die hat was mit X zu tun. MaterialX.
Es gibt in der Computer-Animations-Hollywood-Szene, wo USD ursprünglich herkommt, die Bestrebung: Wir wollen Oberflächen nicht unbedingt mit Texturen beschreiben, sondern prozedural. Das heißt: eine Formelbeschreibung einer Oberfläche. Damit kann man zum Beispiel eine dreidimensionale Maserung von Holz machen — das ist nicht nur wie eine Fototapete, sondern wirklich die Strukturen auch innen zeigen würde, wenn der Oberfläche gefolgt wird. Ein kleiner Unterschied, aber ein relevanter — weil die Datenübertragung ganz kompakt sein kann und trotzdem sieht es toll aus.
Da gibt es einen in der Branche etablierten Standard: MaterialX. Apple baut da schon länger dran, das einzubauen. Das sieht man in einigen der Dateien.
Mehrere Teams sind wohl mitten in der Arbeit, waren schon fertig — und haben dann gesagt bekommen, bringt das nicht an die große Glocke.
Ich möchte da nochmal auf das Video verweisen mit der kaufmännischen Wette. Damals ging es darum, dass dieser USD-Standard nicht nur von Apple genutzt wird, sondern eigentlich schon eine ganz breite Marktmacht entwickelt hat. Unter anderem eben Nvidia für sein Omniverse, für seine Variante des B2B-Metaverse. Und die setzen auch auf USD, aber bei der Beschreibung der Texturen gehen sie etwas andere Wege.
