Foveated Streaming: OpenUSD-Visualisierung ohne Server-Infrastruktur
- Mit der Apple Vision können lokale 3D-Objekte direkt gerendert und mit extern gestreamten Inhalten kombiniert werden, zum Beispiel ein direktes Maschinenmodell lokal, die größere Anlage in der Produktionshalle vom daneben stehenden Mac.
- Für den Mittelstand bedeutet das: CAD-Daten und OpenUSD-Visualisierungen lassen sich künftig von einem Mac oder leistungsstarken iPad aus streamen, ohne dedizierte NVIDIA-Server-Infrastruktur als Voraussetzung.
- Foveated Streaming ist vermutlich keine Cloud-Technologie, sondern Vorbereitung für eine günstige AR-Brille: Ein reines Display-Gerät, das das iPhone in der Tasche oder das MacBook im Rucksack als Rendering-Engine nutzt.
Apple hat mit visionOS 26.4 Beta eine Technologie eingeführt, die auf den ersten Blick nach "Cloud-Streaming" klingt: Foveated Streaming. Die meisten Berichte fokussieren auf Remote-Rendering von leistungsstarken Servern zur Apple Vision Pro. Das ist technisch korrekt, strategisch meiner Meinung aber zu kurz gedacht.
Die eigentliche Frage lautet: Warum investiert Apple in eine Streaming-Technologie, wenn die Vision Pro selbst bereits leistungsstark genug ist, um komplexe 3D-Szenen lokal zu rendern? Auch wenn bisher kaum ein Entwickler diese Rechenleistung ausnutzt!
Was Foveated Streaming technisch bedeutet
Herkömmliches Video-Streaming überträgt das gesamte Bild in derselben Auflösung. Bei hochauflösenden VR- oder AR-Inhalten führt das zu enormem Datenvolumen, das von einem Rechner oder Server auf das VR-Headset übertragen werden muss, selbst bei guter Netzanbindung entstehen Latenzen, Ruckler oder Qualitätsverluste.
Apples Umsetzung mit visionOS 26.4 teilt die Rechenlast auf: Die Vision Pro übernimmt das Rendering für den Nahbereich, ein daneben stehender Mac für die weitere Umgebung.
Das Ergebnis: Bandbreitenbedarf sinkt drastisch, Latenz reduziert sich, und hochauflösende 3D-Inhalte werden lokal streambar, auch über moderate Verbindungen.
Zur Klarstellung: Foveated Rendering ≠ Foveated Streaming
Foveated Rendering ist eine Render-Technik auf der GPU (Grafikprozessor) einer VR-Brille. Der Blickbereich wird lokal mit hoher Auflösung berechnet, die Peripherie mit weniger Rechenaufwand. Das entlastet die GPU und kann entweder für einen flüssigeren Framerate oder eine höhere Spitzenauflösung genutzt werden.
Foveated Streaming ist eine Übertragungs-Technik. Dabei wird die Encoding-Qualität des Streams für den Bereich optimiert, auf den der Nutzer gerade blickt – während die periphere Bildzone stärker komprimiert übertragen wird. Das Bild wird also vollständig auf einem externen Rechner (PC oder Cloud-Server) gerendert – und erst bei der Übertragung zum Headset wird priorisiert, welcher Bildbereich in hoher Qualität ankommt.
Einen Sonderfall bietet Apple mit visionOS 26.4: Hier können lokale 3D-Objekte auf der Vision Pro selbst gerendert und mit extern gestreamten Inhalten kombiniert werden – zum Beispiel das Cockpit eines Flugzeugs lokal, die Außenwelt vom daneben stehenden Mac.
Beide können kombiniert werden – sind aber konzeptionell getrennte Ansätze: Foveated Rendering spart Rechenleistung, Foveated Streaming spart Bandbreite.
NVIDIA demonstrierte diese Technologie bereits mit Omniverse Cloud und Fahrzeugkonfiguratoren. Dort rendert ein leistungsstarker Server die Szene, streamt sie zur Vision Pro, und der Nutzer kann Lackfarben, Ausstattungen oder Innenräume in Echtzeit wechseln. Das funktioniert. Aber es setzt unnötig teure Server-Infrastruktur voraus – und vielleicht wird es mit dem Apple-Ansatz für den Mittelstand interessant.
→ NVIDIA Omniverse – Einordnung für den Mittelstand.
Warum der Mittelstand keine Cloud-Server braucht
Für mittelständische Unternehmen sind Cloud-Server wie NVIDIA Omniverse keine realistische Option – zu hohe Einstiegskosten, zu viel Netzwerkabhängigkeit auf Messen und beim Kunden, und sensible CAD-Daten verlassen das Unternehmen.
Kein Server.
Kein Cloud-Abo.
Ein MacBook reicht.
Bisher galt: Wer hochauflösende OpenUSD-Inhalte in AR oder VR nutzen will, braucht entweder eine Vision Pro mit lokalem Rendering – oder einen leistungsstarken Server in der Cloud. Mit Foveated Streaming entsteht eine dritte Option: Lokales Rendering auf einem vorhandenen Apple-Gerät, gestreamt zur Vision Pro.
Für Unternehmen, die bereits OpenUSD-Daten aus CAD-Systemen aufbereiten, ist das ein entscheidender Unterschied. Die Frage ist nicht mehr: "Können wir uns Omniverse Cloud leisten?" Sondern: "Haben wir ein MacBook oder MacStudio?"
Praxis-Tipp: USDbridge für Cross-Plattform-Kompatibilität
Viele Unternehmen haben bereits OpenUSD-Inhalte in NVIDIA Omniverse erstellt – mit proprietären Shadern (OmniPBR/MDL), die außerhalb von Omniverse , z.B. auf Apple-Geräten wie der Apple Vision Pro, iPad oder iPhone, nicht funktionieren.
Mit unserer USDbridge lassen sich diese Omniverse-Assets in plattformübergreifende USDZ-Dateien konvertieren – optimiert für Apple AR Quick Look (iPhone und iPad), Apple Vision Pro und gleichzeitig weiterhin nutzbar in Omniverse. Das bedeutet: Einmal in Omniverse erstellt, überall einsetzbar – im Vertrieb, auf Messen, beim Kunden.
Foveated Streaming ist kein Produkt, sondern Vorbereitung
Apple bewirbt Foveated Streaming nicht als eigenständige Lösung. Es gibt keine große Pressemitteilung, keine Keynote-Präsentation. Die Technologie wurde still in visionOS 26.4 Beta integriert – als API für Entwickler. Das ist typisch für Apple. Technologien werden nicht angekündigt, wenn sie marktreif sind, sondern wenn sie strukturell funktionieren. Der eigentliche Einsatz kommt später.
Meine persönliche Vermutung: Foveated Streaming ist nicht für (NVIDIA-) Cloud-Server gedacht, sondern für lokales Streaming zwischen Apple-Geräten.
Meine sehr vage Hoffnung: Und ein möglicher Anwendungsfall ist eine günstige AR-Brille, die laut der Gerüchteküche Ende 2026 oder Anfang 2027 kommen soll. Eine solche Brille bräuchte keinen eigenen Hochleistungschip. Sie müsste nur darstellen, was das iPhone in der Tasche oder das MacBook im Rucksack rendert. Foveated Streaming über kurze Distanz – 1 bis 2 Meter, per Wi-Fi 6 oder Kabel.
Das wäre keine neue Produktkategorie, sondern eine Erweiterung des bestehenden Ökosystems.
Was Foveated Streaming in Zukunft für den Vertrieb bedeuten könnte
- Produktkonfiguration beim Kunden, ohne sichtbares Gerät vor dem Gesicht
- Maschinenvisualisierung vor Ort, mit CAD-präzisen OpenUSD-Daten
- Schulungen und Einweisungen, räumlich, aber ohne schweres Headset
Die Brille wird zum Display. Das iPhone wird (so hoffentlich) zur Rendering-Engine. OpenUSD bleibt die Masterdatei.
Warum mich das an die Apple Watch erinnert
pple kam 2015 mit der Apple Watch – nicht durch bessere Technik als Pebble oder Samsung, sondern durch Integration in ein bestehendes Ökosystem. Die Watch war jahrelang kein eigenständiges Gerät, sondern eine Erweiterung des iPhones. Genau diese Logik zeichnet sich bei einer möglichen AR-Brille ab: kein neues Betriebssystem, keine Standalone-Hardware – sondern ein Display-Gerät, das mit vorhandener Apple-Hardware funktioniert.
Apple baut ein Ökosystem, in dem die Brille nur der Bildschirm sein soll.
Foveated Streaming ist so eine lokale Infrastruktur
Die eigentliche Nachricht ist für mich nicht, dass Apple Foveated Streaming eingeführt hat, sondern dass Apple eine Technologie produktiv macht, die bisher nur in Laboren und Forschungsprojekten existierte.
Für den Mittelstand bedeutet das: OpenUSD-Visualisierungen werden zugänglicher. Nicht durch neue Hardware, sondern durch effizientere Nutzung vorhandener Geräte.
Und für Apple bedeutet es vielleicht: Der Weg zu einer günstigen AR-Brille ist nicht mehr weit.
Die ist ein Beitrag aus meiner Impulse-Reihe. Wer mehr über OpenUSD, räumliche Inhalte und Apples strukturelle Grundlagen wissen möchte: Warum Apple dem Metaverse näher ist als Meta.
