usd-updates-podcast

Multi-User AR für visionOS von Apple

Gerhard Schröder
Gerhard Schröder
· 5 min read
Multi-User AR für visionOS von Apple — USD-Updates

„iPad und iPhone haben parallel die gleiche AR-Szene gezeigt — und wir konnten miteinander gemeinsam dieselben Sachen benutzen, steuern und interagieren.”

Erstes Zwischenergebnis aus der eigenen Forschungsarbeit: Multi-User AR auf Apple-Geräten — live getestet in Amsterdam:

  • Was Multi-User AR ist und warum es im Vertrieb und auf Messen relevant wird
  • Wie die Kalibrierung von zwei Geräten (iPad + iPhone) in der Praxis funktioniert
  • Warum der Untergrund für die Synchronisation entscheidend ist
  • Wie ein drittes Gerät als stiller Beobachter auf einem Monitor gespiegelt werden kann
  • Ausblick: Apple Watch als Interface-Steuerung und nächste Ausbaustufen
Was sind USD-Updates?

Kurze Videos und Talks von Gerhard Schröder rund um OpenUSD, USDZ und Augmented Reality im Apple-Universum — seit 2022.

→ Alle USD-Updates

Worum es geht

Multi-User AR bedeutet: Mehrere Personen stehen an verschiedenen Stellen im Raum, jede mit ihrem eigenen iPhone oder iPad — und alle sehen dieselbe AR-Szene gleichzeitig, synchronisiert. Gerhard und sein Team haben das als eigenständige Forschungsarbeit in der Agentur entwickelt und zeigen hier das erste Zwischenergebnis, live getestet auf einem Platz in Amsterdam.

Die Technik basiert auf Apples ARKit-Synchronisations-Standard. Zwei Geräte werden nebeneinander gehalten und kalibriert — eine kurze seitliche Parallax-Bewegung reicht. Danach können beide Nutzer Objekte platzieren: Sessel, Hocker, Sofa — alle sichtbar für alle. Der Untergrund spielt dabei eine wichtige Rolle: Ein gemusterter Teppich oder strukturierter Boden hilft den Geräten, sich präzise zu verorten. Auf glatten, einfarbigen Flächen wackelt die Szene.

Für Messen und Verkaufspräsentationen ergibt sich ein einfaches Setup: Ein drittes Gerät hängt still in der Szene als Beobachter, sein Bild wird auf einen großen Monitor gespiegelt — so kann das gesamte Publikum zuschauen, während zwei Personen live in der AR-Szene interagieren.

Kapitel

  • 0:00 — Intro: Was ist Multi-User AR und warum hat die Agentur es selbst erforscht?
  • 0:45 — Von der Idee zur Realisation: erster Zwischenstand
  • 1:20 — Live-Test in Amsterdam: iPad + iPhone in derselben AR-Szene
  • 2:15 — Kalibrierung: Geräte nebeneinander, Parallax-Bewegung, loslegen
  • 3:00 — Demo: Sessel, Hocker, Sofa platzieren — mehrere Nutzer gleichzeitig
  • 4:00 — Warum der Untergrund entscheidend ist
  • 4:30 — Messe-Tipp: drittes Gerät als stiller Beobachter auf großem Monitor
  • 5:00 — Ausblick: Apple Watch als Interface und nächste Ausbaustufen

Erwähnt

Typische Fragen

Wie funktioniert die Kalibrierung bei Multi-User AR auf Apple-Geräten?

Zwei Geräte werden nebeneinander gehalten und synchronisiert: Eine kurze seitliche Parallax-Bewegung reicht, damit iPhone und iPad dieselbe AR-Szene teilen. Wichtig ist dabei der Untergrund — ein gemusterter Teppich oder eine strukturierte Fläche hilft den Geräten, sich präzise zu verorten. Auf glatten, einfarbigen Flächen wackelt die Szene.

Wie kann Multi-User AR auf Messen eingesetzt werden?

Ein drittes Gerät hängt still als Beobachter in der AR-Szene, sein Bild wird auf einen großen Monitor gespiegelt. So kann das gesamte Messepublikum zuschauen, während zwei Personen live in der AR-Szene interagieren — ohne dass jeder Besucher ein eigenes Gerät braucht. Das Setup ist technisch einfach und sofort einsetzbar.

Welche technische Basis nutzt Multi-User AR auf Apple-Geräten?

Die Technologie basiert auf Apples ARKit-Synchronisationsstandard, der die gemeinsame Raumwahrnehmung mehrerer Geräte ermöglicht. Für die Umsetzung ist eine eigene App nötig — AR Quick Look allein unterstützt Multi-User-Szenarien nicht. Für Remote-Multi-User-AR über SharePlay war 2022 die technische Basis gelegt, die produktreife Umsetzung folgte schrittweise.

Transkript (KI-bereinigt)

Multi-User Augmented Reality. Hört sich verrückt an? Braucht man das? Wofür kann man das nutzen? Dazu haben wir mal eine eigene Forschungsarbeit bei uns in der Agentur gemacht und das erste Zwischenergebnis stelle ich euch heute mal vor.

Hallo und herzlich willkommen, mein Name ist Gerhard Schröder. In diesem YouTube-Kanal geht es ganz viel um Apple und Augmented Reality und wie das Ganze miteinander zusammenspielt. Wir haben in einigen früheren Videos hier ja schon mal Multi-Objekt-AR-Geschichten vorgestellt — also mehrere Objekte von einem iPhone aus oder vom iPad aus einzeln bewegen, steuern und ähnliches.

Jetzt ist aber der nächste Schritt: Ich möchte nicht nur verschiedene Objekte, sondern ich möchte mit mehreren Menschen gleichzeitig in einer AR-Szene interagieren. Kann man zum Beispiel nutzen zum Spiel, aber auch für Verkaufsgespräche. Von der Idee zur Realisation — erstes Zwischenergebnis. Das ist Thema des heutigen Videos.

Live-Test in Amsterdam

Ich habe mitgebracht den Tom und meine Einer. Wir standen in Amsterdam auf einem Platz und haben gemeinsam ausprobiert, was der erste Zwischenstand ist. Dazu hatten wir zur Hand ein iPad, ein iPhone und noch ein iPhone zum Filmen. iPad und iPhone haben parallel die gleiche AR-Szene gezeigt und wir konnten miteinander gemeinsam dieselben Sachen benutzen, steuern und interagieren.

Wie die App funktioniert

Die App funktioniert folgendermaßen — wie generell diese ganzen Multi-User-AR-Geschichten von Apple, die auf dem Apple-Technologie-Standard basieren. Als erstes nimmt man die beiden Geräte, hält sie nebeneinander und kalibriert sie. Idealerweise — so wie auch in den Apple-Demo-Szenen immer zu sehen — macht man das auf einen möglichst nicht einfarbigen Untergrund.

Geräte nebeneinander, ein bisschen hin und her — eigentlich seitlich bewegen, Parallax-Effekt, nicht so sehr schwenken. Und dann kann man loslegen.

Wir haben unten auf dem jeweiligen iPhone oder Device drei Buttons. Damit kann man drei Objekte platzieren: einen Sessel, den Hocker dazu und ein Sofa. Man kann beliebig viele davon platzieren. Tablet oder Smartphone nehmen, wohin halten, und dann auf einen der drei Buttons drücken. An der entsprechenden Stelle wird das Objekt platziert.

Das ist natürlich keine wahnsinnig großartige Spielaktion — es geht darum, erst mal die Technologie zu demonstrieren. Und das geht ziemlich gut.

Warum der Untergrund wichtig ist

Damit die Szene zwischen den beiden Geräten gut synchronisiert werden kann und das Ganze nicht wackelt: Es ist gut, wenn der Untergrund eine gewisse Struktur hat. Also möglichst irgendeinen Teppich oder etwas mit einem klaren Muster drunter legen — damit die Geräte das Muster klar erkennen und genau wissen, wo sie stehen.

Bei einer Einzel-User-AR-Lösung ist das nicht so wichtig, denn die Sensoren vom iPhone — Gyroskop, Kameras und so weiter — arbeiten ziemlich gut. Bei Multi-User-AR sollte man aber mehr auf diesen Untergrundtaktor achten.

Messe-Tipp

Wer das zum Beispiel auf dem Messestand nutzen möchte: Man nimmt ein iPad oder iPhone als dritten Beobachter, der in der Szene mitzuschaut, und spiegelt das Bildsignal auf einem großen Monitor. Dann können alle möglichen Leute zuschauen.

Ausblick

In einer weiteren Ausbaustufe kann man das Interface — jetzt noch drei einfache Buttons — natürlich besser gestalten. Man kann es auch so gestalten, dass die Interface-Steuerung über die Apple Watch erfolgt. Aber davon wollen wir nächstes Mal.

Das war’s für heute. Vielen Dank fürs Zuschauen.

Häufige Fragen

Was ist Multi-User AR und wie funktioniert es auf Apple-Geräten?

Mehrere Personen interagieren gleichzeitig in derselben AR-Szene — jede auf ihrem eigenen Gerät (iPhone oder iPad). Die Geräte werden kalibriert, indem man sie nebeneinander hält und eine kurze Parallax-Bewegung macht. Danach sehen alle dieselbe Szene synchronisiert.

Welche technischen Voraussetzungen braucht man für Multi-User AR?

iPhone oder iPad mit ARKit. Kein App Store-Download, aber eine eigene App ist nötig. Wichtig: Der Untergrund sollte eine erkennbare Struktur haben — ein gemusterter Teppich etwa — damit die Geräte sich untereinander präzise synchronisieren können.

Wie kann man Multi-User AR für Messen oder Verkaufspräsentationen einsetzen?

Ein Gerät fungiert als 'stiller Beobachter', dessen Bild auf einem großen Monitor gespiegelt wird. So können Besucher am Messestand zuschauen, während zwei Personen live in der AR-Szene interagieren — ohne dass jeder ein eigenes Gerät braucht.

Was war der Stand der Multi-User AR in diesem Zwischenergebnis?

Drei Buttons unten im Interface, je einer für Sessel, Hocker und Sofa. Beliebig viele Objekte platzierbar. Die Synchronisation zwischen iPad und iPhone funktionierte stabil. Das Interface war bewusst simpel gehalten — als Technologiedemo, nicht als fertiges Produkt.

Was sind die nächsten Ausbaustufen für Multi-User AR?

Verbessertes Interface, Steuerung über Apple Watch und — für visionOS — auch remote Multi-User-AR. Die Basis-Technologie über ARKit und SharePlay war 2022 bereits vorhanden, die produktreife Umsetzung folgte schrittweise.