Fakten zu xrOS / visionOS — das AR-Betriebssystem von Apple

Kurze Videos und Talks von Gerhard Schröder rund um OpenUSD, USDZ und Augmented Reality im Apple-Universum — seit 2022.

→ Alle USD-Updates

Apple entwickelt ein Augmented Reality Headset. Das ist die aktuelle Gerüchtelage. Aber was ist da eigentlich so an der einen oder anderen Leak-Information tatsächlich dran? Dazu heute ein Talk mit meinem Kollegen Thomas. Wir beide haben eine Tasse Tee und wir sprechen über ein paar echte Fakten und Details im Hintergrund.

Hallo, vielen Dank, dass du dich aus dem fernen Süden von Deutschland dazugeschaltet hast.

RealityOS im Open-Source-Leak

Erster Stichwort, was wir auf dem Zettel haben, ist dieses berühmte Reality OS. Das große, ominöse neue Betriebssystem und die AR-Brille von Apple. Da gibt es ja momentan gerade auch auf verschiedenen deutschen Online-Medien — alter Wein in neuen Schläuchen.

Ja, dass es etwas gibt, was Reality OS heißt und kurz ROS auch genannt wird, das wissen wir schon länger. Das ist jetzt nochmal hochgekocht, weil Apple eines ihrer schon seit Jahren gepflegten Open-Source-Projekte einen neuen Stand ins Internet gepostet hat. Und dabei ist ihnen ein kleiner Fauxpas unterlaufen. Sie haben nämlich ein paar Zeilen drin gelassen, die sie lieber nicht ausgeplaudert hätten. Da fiel auf wieder der Name RealityOS — und dann sind natürlich die Tech-Journalisten sofort aufgesprungen.

Das Interessante hierbei ist nicht nur, dass es RealityOS gibt, sondern was da eigentlich steht. Man muss jetzt mal in die echten Quellenangaben hineinschauen. Und jemand, der Programmiersprache kennt — C oder C++ — der kann daraus lesen: Es gibt eine neue Betriebssystemsorte, das heißt dann Reality OS. Aber das Interessante ist, diese Programme, die dafür gebaut sind, laufen dann auch auf dem iPhone und im iPhone-Simulator.

WebXR in iOS-Beta

Dieses Gerücht wird noch stärker, wenn man sich anschaut, was jetzt gerade in der Beta-Version vom aktuellen iPhone-Betriebssystem drin ist. In den Einstellungen vom Safari-Browser kann man experimentelle Features aktivieren. Da gibt es ein paar interessante Sachen. Die ganze Google-Gemeinde sagt, oh, Apple bremst uns aus — und dann sehen wir, Apple baut es ein, und zwar gleich volle Bulle. Da steht drin, dass man mit externen Bluetooth-Controllern arbeiten kann, dass man auch über Handgesten arbeiten kann — was natürlich sehr viel Sinn macht mit einem Headset — und es gibt dieses XR Augmented Reality Module und dieses Device API. Das ist praktisch das Fundament, damit WebXR überhaupt funktioniert.

AR im Browser macht Sinn. Aber das mit den Gamepads und Handeingabe macht nur Sinn, wenn man das Handy auch in ein Headset einbaut. Weil wenn man das Handy in der Hand hält, kann man ja schließlich sonst keine Gesten machen.

Starboard — Stereo-AR seit iOS 13.1

Da kommt dann ins Spiel, dass es vor Jahren schon mal ein Gerücht gab, als sie iOS 13.1 kurz vor der Vorstellung von iOS 14 herausgegeben haben. Da gab es kurzzeitig mal eine Version für Apple-interne Entwickler — und da ist geleakt worden: Es gibt diesen Stereo-AR-Mode, auch kurz Starboard genannt.

Es gibt ein „Springboard” — das ist der interne Name für den Home-Screen von iPhones und iPads. Und dieses Starboard ist dasselbe in AR, mit einem Headset. Das schaltet dann auf dem iPhone um von Hand-Modus in Quermodus mit einem Bild links fürs linke Auge, einem Bild rechts fürs rechte Auge — wie man es vom Google Cardboard her kannte.

Ultra-Wide-Kamera und Handgestenerkennung

Apple ist dazu übergegangen, zwei Sachen zu machen: Die haben alle an derselben Gehäuseecke einen gleich großen Kamerabump — als wenn es in irgendetwas reinsteckbar wäre. Und zum Zweiten haben auf einmal auch die billigeren iPhones, die Einstiegsmodelle, auch eine Ultra-Wide-Kamera. Diese Ultra-Wide-Linsen, wenn man die im Headset drin hat, dann kann man mit seinen Händen gestikulieren und die werden immer noch gesehen bis Bauchnabelhöhe.

Was nicht Spekulation ist: Offiziell können alle Apps seit Version iOS 15 Handgestenerkennung benutzen. Das Betriebssystem hat das jetzt schon eingebaut — automatisch werden zwei Hände getrackt, jede Geste, jede Fingerrotation steht der App zur Verfügung.

Animojis, Subdivision Surfaces und die Zukunft

Als das iPhone X vorgestellt wurde mit der Face-ID-Kamera — die also mit tiefen Informationen arbeitet — ermöglichte diese Technik auch die Animoji-Videos. Eine wichtige Technologie dahinter sind die sogenannten Subdivision Surfaces. Dieser schöne, runde Roboter-Kopf sieht mit ganz wenig Kontrollpunkten aus — das nennt man die Subdivisions-Patches. Das ist eine Kerntechnologie, die demnächst eine größere Rolle spielen wird. AR Quick Look benutzt es derzeit noch nicht, weil AR Quick Look auch auf den alten Handys funktioniert, die das noch nicht können.

Das war eine Zusammenfassung unserer Bewertung der aktuellen Gerüchte rund um den Themenbereich RealityOS. Hier gibt es noch ein paar weitere Videos — unter anderem eine Podcast-Folge, 90 Minuten mit weiteren Fachinformationen vom Thomas, Kai Hedegaard und mir rund um das Themenreich Apple und Augmented Reality. Over and out.

In einem Open-Source-Commit tauchte der Name RealityOS (heute visionOS) auf — und der Code zeigte, dass die Apps für dieses Betriebssystem auch im iPhone-Simulator laufen. Das ist kein Zufall: Apple baut das XR-Ökosystem auf derselben App-Basis wie iOS auf, damit Entwickler bereits vor dem Headset-Release Apps bauen und testen können.

In den experimentellen Safari-Einstellungen war WebXR aktiviert — mit Bluetooth-Controller-Support, Handgestenerkennung und einem XR Device API. Diese Funktionen ergeben nur Sinn, wenn das iPhone in ein Headset eingebaut wird: Ein Gerät in der Hand lässt keine freien Handgesten zu.

Subdivision Surfaces ermöglichen glatte 3D-Oberflächen mit wenigen Kontrollpunkten — Apple nutzt sie seit dem iPhone X für Animojis. AR Quick Look unterstützt sie noch nicht, weil ältere iPhones sie nicht berechnen können. Mit der schrittweisen Abkehr von der Rückwärtskompatibilität wird diese Technologie auch für USDZ-AR-Inhalte zugänglich werden.