Roomplan & RealityOS — iOS 16 AR Updates

Kurze Videos und Talks von Gerhard Schröder rund um OpenUSD, USDZ und Augmented Reality im Apple-Universum — seit 2022.

→ Alle USD-Updates

Roomplan nutzt Apples Neural Engine und Machine Learning, um einen Raum per Kamera zu erfassen: Wände, Fenster, Türöffnungen und Möbel werden erkannt, kategorisiert und mit einer strukturierten Box dargestellt. Das Ergebnis lässt sich als 3D-Datengrundlage für AR-Anwendungen verwenden — etwa um erkannte Objekte durch AR-Modelle zu ersetzen.

Eine AR-Brille muss beim ersten Einschalten den Raum kennen, in dem sie betrieben wird. Apple testet genau diese Funktion vorab auf Millionen iPhones aus. Nutzer gewöhnen sich an den Einrichtungsprozess — so wird das spätere Onboarding der Brille zur vertrauten Erfahrung. Das iPhone dient als Beta-Testplattform für Technologien, die in der AR-Hardware gebraucht werden.

Roomplan erkennt einzelne Objekte im Raum und gibt sie als isolierte 3D-Boxen aus. Das ist die Voraussetzung für den nächsten Schritt: diese Objekte gezielt durch AR-Modelle zu ersetzen oder zu ergänzen. Multi-Objekt-AR — das separate Steuern mehrerer 3D-Objekte in einer Szene — baut direkt auf dieser Erkennungsfähigkeit auf.

Apple zeigt mit Roomplan seinen nächsten Schritt im Bereich AR. Schauen wir uns an, was Thomas dazu meint. Und ich sage auch was dazu.

Von der Linienmessung zur Raumerkennung

Vor zwei oder drei Jahren haben sie jedenfalls eine App vorgestellt, mit der man in Augmented Reality Dinge abmessen kann — wie lang oder wie breit ist irgendein Gegenstand. Diese App gibt es schon ein paar Jahre.

Und jetzt mit der neuen App Roomplan kann man jetzt nicht nur einfach die Breite oder die Länge messen, sondern als nächste Ausbaustufe setzt dieses Ganze darauf auf und sagt: Ich kann jetzt nicht nur von A nach B messen, sondern ich kann auch in der dritten Dimension messen — und ich kann damit einen Raum grob vermessen in Form von Klötzen.

Und wenn man sich überlegt, diesen Pfad von einfach eine Linie messen zu einem Raum vermessen — was kommt dann im nächsten Schritt hinten dran?

Neural Engine: Wände, Fenster, Möbel kategorisiert

Roomplan beschreibt die Möglichkeit, dass man die geballte Power von Apples Neural Engine nutzen kann. Apple stellt nämlich die ganze Software zur Verfügung, um zu erkennen, ob in deinem Raum, den du gerade abfilmst, eine Wand erkannt wird, ein Fenster, eine Türöffnung — oder ein Tisch, ein Stuhl, ein Sofa.

Das wird alles über Machine Learning erkannt und dann in seinen Abgrenzungen — als Box um das Ganze herum — interaktiv dargestellt. Alle Dinge im Raum bekommen dann eine Box drumherum. Das wird mitsamt der Information gespeichert: Das ist ein Sofa, das ist ein Tisch. Also es wird kategorisiert. Das kann man benutzen in seiner App oder abspeichern lassen — und darauf kann man dann weitere Schritte aufbauen.

Zum Beispiel eine richtige Fotogrammetrie dahinter hängen, die dann den Vorteil hat, dass sie weiß: Dieser Haufen von Punkten, das ist der Stuhl. Und dann kann ich den Stuhl einzeln abspeichern und isolieren. Das ist ein großer Fortschritt. Wird mit vielen App-Entwicklern sehr helfen.

Verkannte Funktion — Pflichtbaustein für die Brille

Wenn man wissen möchte, wofür sowas spannend sein könnte: Da gibt es ein Video in der Reihe, das heißt Multi-Objekt-AR — wo wir mal gezeigt haben, was man mit solchen Einzelobjekten dann auch machen kann. Sie zum Beispiel getrennt im Raum hin und her schieben.

Ich habe auch auf Twitter gelesen, dass sehr viele Entwickler erst dachten: ja, aber das ist ja noch nicht das Richtige. Und andere haben dann gesagt: Ja, aber das sind Dinge, die brauchen Leute ganz dringend. Das ist eine verkannte Funktion im Rahmen dieser Roadmap hin zur Augmented-Reality-Brille.

Genau diese Funktion brauchst du, wenn du mehr machen willst als das, was die bisherigen AR-Brillen können. Apple macht erst mal Hausaufgaben. Und dazu gehört damit einmal so eine scheinbar unsexy Funktion rauszubringen, die als erstes mal nur eine Wand vermessen kann, im nächsten Schritt Räume vermessen kann — und sogar die Gegenstände im Raum entsprechend erkennt.

iPhone als Beta-Testplattform

Weil wenn ich an Demos oder Versprechen von anderen AR-Brillen-Herstellern denke: die haben ja gesagt, du kannst in deinem Raum dann interaktive Spiele spielen. Ja, aber genau diese ganzen Funktionen brauche ich, wenn ich sowas machen will.

Das ist eine Technik, die man vorher braucht, bevor man das ganze Apple-Versum zusammenbaut. Erst mal Hausaufgaben machen, bevor der heiße Scheiß kommt.

Wenn ich eine solche Funktion schon vorab auf viele Millionen iPhones zum Beta-Testen bekomme und die Nutzer gewöhnen sich daran, so eine Funktion mal zu verwenden — dann ist es hinterher total einfach zu sagen: Ach, das ist mit der Brille so, wie ich es vorher schon mit dem Handy gemacht habe.

Animojis und der Avatar-Grundstein

Und das zeigt wieder mal: Zwei Schritte weiter planen, führt zum Erfolg. Auch die Animojis gehören in diese Kategorie. Nicht ohne Grund haben wir dazu auch schon ein Video gemacht.

Das Film ist für die meisten Menschen nur Gimmick. Ja, aber in einer Zukunft, in der ich im Appleverse — Metaverse, was auch immer — mich bewegen möchte, ist es vielleicht ganz hilfreich, wenn ich nicht wirklich in Präsenz vor Ort sein kann, so meinen eigenen Avatar schon gebaut zu haben. Auf dem Handy schon vor Wochen, Monaten, Jahren irgendwann mal damit experimentiert. Selbst meine Mutter hat ein Animoji — und wenn ich das später mal für dieses Versum benötige, hat es jeder Nutzer schon zur Hand.