Video-Texturen — AR-Funktionen mit der Keynote enthüllt

Video-Texturen — AR-Funktionen mit der Keynote enthüllt

„Apple hat mit dieser Datei ein paar neue Funktionen eingesetzt — und zwar eine, die zeigt, wo die Reise hingeht.”

In der Keynote präsentiert Apple neue Produkte — aber die spannendsten AR-Features sagt Apple gar nicht:

  • Mac Studio AR-Modell: HEIF-Texturen statt JPEG — ein neues Dateiformat zieht ein
  • Portaleffekt in Apple AR: von außen unsichtbar, von innen sichtbar
  • Animiertes Keynote-Logo als Reality-Datei: Video-Texturen live in AR
  • Reality Converter Update: erstmals nach drei Jahren — mit iOS-12-Kompatibilitätsschalter
  • Reality Composer: noch auf altem Stand, aber die Richtung ist klar
Was sind USD-Updates?

Kurze Videos und Talks von Gerhard Schröder rund um OpenUSD, USDZ und Augmented Reality im Apple-Universum — seit 2022.

Alle USD-Updates

Worum es geht

Apple hat mit der Frühjahrs-Keynote 2022 den Mac Studio vorgestellt — und still und leise auch ein neues Kapitel in der AR-Entwicklung aufgeschlagen. Der Mac Studio war auf der Apple-Website mit einem AR-Link hinterlegt: die USDZ-Datei zeigt alle Außendetails, jeden Anschluss, sogar ein Stück Platine von innen — inklusive Portaleffekt. Das Überraschende beim Blick in die Datei: Die Texturen sind kein JPEG mehr, sondern HEIF — das kompakte Apple-Fotoformat, das auch kurze Animationen speichern kann.

Das zweite AR-Objekt aus dieser Keynote war das animierte Apple-Logo als Reality-Datei — mit animierten Leuchtstrahlen als Video-Texturen. Gleichzeitig brachte Apple ein Update für den Reality Converter, der drei Jahre lang auf dem Stand von 2019 eingefroren war. Das Update bringt einen entscheidenden Schalter: Export für iOS 12 und älter — oder für neue Betriebssystemversionen mit erweiterten AR-Funktionen. Apple beginnt, die Rückwärtskompatibilität zu sechs Jahre alten Geräten aufzugeben.

Kapitel

  • 0:00 — Intro: Was hat Apple bei der Keynote nicht gesagt?
  • 1:00 — Mac Studio AR-Modell: Live-Demo und erste Überraschung
  • 2:30 — Beleuchtungsberechnung: wie Apple Licht und Farbe aus der Kamera liest
  • 3:30 — HEIF statt JPEG: das neue Texturformat in USDZ
  • 5:00 — HEIF und Video-Texturen: Animationen in Texturen
  • 6:00 — Portaleffekt: von außen unsichtbar, von innen sichtbar
  • 7:15 — Reality Converter Update: drei Jahre Sprung, ein neuer Schalter
  • 8:30 — Reality Composer: noch ausstehend, aber die Richtung stimmt
  • 9:30 — Ausblick: was die Tools über Apples AR-Roadmap verraten

Erwähnt

Typische Fragen

Was ist das HEIF-Format und warum hat Apple es für USDZ-Texturen eingeführt?

HEIF ist ein kompaktes Bild- und Videoformat, das ursprünglich von Nokia entwickelt und vom MPEG-Konsortium standardisiert wurde. Apple setzt es auf dem iPhone bereits für Fotos ein. Der entscheidende Vorteil gegenüber JPEG: HEIF kann nicht nur Standbilder, sondern auch kurze Animationen speichern — die Grundlage für Video-Texturen auf 3D-Oberflächen. Beim Mac Studio AR-Modell verwendete Apple HEIF erstmals als Texturformat in einer USDZ-Datei.

Was ist der Portaleffekt in Apple AR und wie funktioniert er technisch?

Apple kann mit dem Reality Composer Objekte erstellen, die von außen unsichtbar sind, aber von innen Inhalte zeigen — etwa Innendetails eines Geräts, die von außen nicht erkennbar wären. Der Nutzer fährt mit der Kamera in das Objekt hinein und sieht plötzlich mehr als von außen sichtbar war. Das entspricht dem AR-Portaleffekt, den andere Hersteller als eigenständiges Feature bewerben.

Was bedeutet der iOS-12-Schalter im Reality Converter Update?

Mit dem Update von 2022 führte Apple einen Kompatibilitätsschalter ein: USDZ-Dateien können entweder für iOS 12 und ältere Geräte exportiert werden oder für neuere Betriebssystemversionen mit erweiterten AR-Funktionen. Das ist ein klares Signal, dass Apple die Rückwärtskompatibilität zu sechs Jahre alten iPhones schrittweise aufgibt, um neuere Features einzuführen.

Transkript (KI-bereinigt)

Apple hat in seiner neuesten Keynote tolle neue Produkte vorgestellt, unter anderem diesen Rechner, den Mac Studio. Toller Rechner, aber sie haben auch Sachen vorgestellt, über die sie in der Keynote selbst gar nicht gesprochen haben. Und zwar im Themenbereich Augmented Reality. Und darum geht es in der heutigen Folge.

Mac Studio in AR

Fangen wir doch erstmal mit den einfachen Dingen an, mit dem Offensichtlichen. Apple stellte den Mac Studio vor. Ich habe mir erlaubt, auf der Webseite nachzuschauen. Und da gibt es einen freundlichen kleinen Link. Wenn man drauf tippt, startet die AR-Anwendung. Und dann ist auf diesem Schreibtisch hier der Rechner.

Jetzt kann man sich den sehr in Details anschauen. Von außen sieht das echt cool aus. Man erkennt vor allem oben diesen Glanz — und dieser Glanz, der sich auch im Apple-Logo spiegelt, das ist tatsächlich die Helligkeitsverteilung hier im Raum. Das ist nicht nur irgendwie überlegt, sondern Apple nimmt das Videobild aus der Kamera und schaut sich die Szene an: wie ist die Lichtsituation von rechts, von links, wie ist die Farbsituation — und gestaltet daraus eine optimale Beleuchtungsumgebung.

Alle Details, alle Anschlüsse sind nicht nur eine Grafik, sondern jeder Stecker kann man einzeln mit der Kamera reinfahren und im Detail anschauen. Und wenn man reinfahrend mit dem iPad als Kamera — hinten drin ist schwarz. Aber aus dem richtigen Blickwinkel kann man da noch was erkennen: am anderen Ende sieht man ein Stück Platine. Genau genommen den Slot, wo man die Fotospeicherkarten reinschiebt.

HEIF-Texturen und das neue Dateiformat

Das ist alles, was man sich erstmal anschauen kann. Spaßig sind aber die Dinge, wenn man die Datei herunterlädt und analysiert. Das geht, weil diese Datei im Format USDZ ist. Und wenn man reinschaut, kann man feststellen: Apple hat mit dieser Datei ein paar neue Funktionen eingesetzt.

Eine neue Funktion ist dabei das neue Dateiformat für Bildinformationen. Diese Texturen sind jetzt nicht mal mehr JPEGs, sondern da haben sie ein ganz neues, spannendes Format verwendet — das heißt HEIF. Das wird schon seit einiger Zeit von Apple eingesetzt für den Themenbereich Fotokomprimierung auf dem iPhone — ursprünglich von Nokia entwickelt, inzwischen Teil des MPEG-Konsortiums.

Und dieses Dateiformat hat noch eine Besonderheit: es kann nicht nur Standbilder, sondern ähnlich wie GIFs auch Animationen — kurze Videosequenzen aufnehmen und wiedergeben. Das nennt sich auf dem iPhone auch Live-Foto. Mit diesem Format kann man also mehr machen als nur eine statische Grafik auf eine Oberfläche zu packen. In dem Mac-Studio-Modell ist das noch nicht umgesetzt worden — aber dazu kommen wir gleich.

Animiertes Keynote-Logo und Portaleffekt

Es gibt noch ein zweites Modell, was mit dieser Apple-Keynote vorgestellt worden ist — das ist im Reality-Dateiformat, dem speziellen kopiergeschützten Dateiformat, wo Apple sich nicht hinter die Karten schauen lässt. Wir nutzen das für verschiedene Kundenprojekte, wenn es zum Beispiel um Konstruktions-3D-Daten geht, wo ein Auftraggeber nicht möchte, dass jemand in die Daten schauen kann.

Und in dieser Videodatei — aufgenommen vor einem der historischen Gebäude in Velbert-Langenberg — ist das animierte Apple-Logo, das zur Bewerbung des Events diente. Wenn man genau hinschaut, sieht man, dass da vorne Leuchtstrahlen rauskommen. Das sind animierte Texturen. Und nochmal daran denken: das gerade erwähnte HEIF-Dateiformat erlaubt es, Animationen und kurze Videosequenzen in Texturen einzuarbeiten.

Eine andere Besonderheit haben sie auch eingebaut: Ich nenne es jetzt mal Unsichtbarkeit. Wenn man dieses Apple-Logo mit der Kamera reinfährt, ist man eigentlich an der Stelle, wo es von außen schon gar nichts mehr zu sehen gibt. Apple ist in der Lage, mit der neuesten Version des Reality Composers solche Dateien auszugeben, die man von außen nicht sehen kann — aber wenn man drin ist, ist es mehr zu sehen als von außen. Der eine oder andere kennt sowas auch als Augmented Reality Portaleffekte.

Reality Converter Update

Apple hat für Augmented Reality-Funktionen zwei Software-Systeme. Das eine ist der Reality Converter — der erlaubt es mir, eine 3D-Datei aus einer Bearbeitungssoftware durchzuschicken und am Ende eine AR-fähige USDZ-Datei herauszubekommen. Recht simpel. Dieser Reality Converter war zuletzt vom Softwarestand 2019 — schon ein bisschen betagt.

Da ist jetzt mit der Apple Keynote, kurz danach, so ganz nebenbei, ein Software-Update rausgekommen. Der hat einen Sprung von drei Jahren getan. Und da gibt es jetzt einen kleinen Schalter, der heißt iOS 12. Damit kann man AR-Dateien einerseits erzeugen, die noch kompatibel sind mit iOS 12 und älter — also alle möglichen alten iPhones — oder man kann Dateien exportieren, die neuer sind.

Bisher ist es so, dass Apple AR von iPhone 6s an bis zum aktuellsten alles abdeckt — alle Dateien auf sechs Jahre alten Handys verfügbar. Da zeigt sich ganz deutlich: Apple ist dabei, von dieser Rückwärtskompatibilität abzuweichen und in Zukunft zu sagen, iOS 12 ist die harte Kante für alle neueren AR-Funktionen.

Das zweite Software-Tool ist der Reality Composer. Damit kann man einzelne 3D-Elemente bearbeiten, in dem Composer zusammenstellen, Animationen und Logik hinzufügen. Der ist noch auf dem Stand 2019 — da warten wir noch aufs Update. Aber es zeigt sich schon mit diesen ersten neuen Features, was als nächstes noch alles kommen kann. Es bleibt weiter entspannt.

Häufige Fragen

Was sind Video-Texturen in Apple AR?

Video-Texturen sind animierte Bildinformationen auf 3D-Oberflächen — statt eines statischen JPEGs eine kurze Videosequenz. Apple nutzt das HEIF/HEVC-Format, das sowohl Standbilder als auch kurze Animationen speichern kann. Sichtbar wurde das am AR-Einladungslogo zur Apple-Keynote: animierte Leuchtstrahlen auf einer 3D-Oberfläche.

Was hat Apple mit dem Mac Studio AR-Modell gezeigt?

Der Mac Studio war auf Apples Website mit einem AR-Link verfügbar. Die USDZ-Datei enthielt alle Außendetails bis hin zu einzeln erkennbaren Anschlüssen und einem Stück Platine von innen. Neu dabei: die Texturen lagen nicht als JPEG vor, sondern im kompakten HEIF-Format — ein erstes Signal, dass Apple die Rückwärtskompatibilität zu alten iPhones aufgibt.

Was ist der Portaleffekt in Apple AR?

Apple kann mit dem Reality Composer Objekte erstellen, die von außen unsichtbar sind — aber von innen zeigen sie mehr als von außen. Man fährt mit der Kamera in das Objekt hinein und sieht plötzlich Inhalte, die von außen nicht sichtbar waren. Das entspricht dem AR-Portaleffekt, den andere Hersteller als Feature bewerben.

Was ist der Unterschied zwischen Reality Converter und Reality Composer?

Der Reality Converter wandelt 3D-Dateien aus fremden Formaten in USDZ um — einfach und linear. Der Reality Composer ist ein Kompositionswerkzeug: mehrere 3D-Elemente zusammenstellen, Animationen hinzufügen, Logik einbauen. Beide Tools bekamen nach der Keynote 2022 ein Update nach drei Jahren Stillstand.

Was bedeutet der iOS-12-Schalter im neuen Reality Converter?

Mit dem Update hat Apple einen Kompatibilitätsschalter eingeführt: Dateien können entweder für iOS 12 und älter exportiert werden — oder für neuere Betriebssystemversionen mit erweiterten AR-Funktionen. Das ist ein klares Signal: Apple plant, die Rückwärtskompatibilität zu sechs Jahre alten iPhones schrittweise aufzugeben.