Wir NERFen Euch — Neural Radiance Field, Visual Com-Podcast Ep. 71
„KI, die aus Fotos ein 3D-Objekt lernt — und dabei auch noch Licht und Reflexionen versteht. Das ist kein akademisches Spielzeug. Das ist der fehlende Workflow für skalierbare AR-Inhalte.”
Kai Heddergott und ich — Audio-Only-Folge, drei Monate Pause, jetzt NeRF:
- Was ist ein Neural Radiance Field? Erklärung von Grund auf
- Fotogrammetrie, Laserscanning und NeRF: der Vergleich
- Warum NeRF glänzende und transparente Objekte kann, Fotogrammetrie nicht
- NeRF → 3D-Mesh: der Export-Workflow
- Was das für WebAR, USDZ und das 3D-Internet bedeutet
Was ist der Visual Com-Podcast?
Der Talk von Kai Heddergott und Gerhard Schröder zu visueller Unternehmenskommunikation. Ep. 71 ist eine Audio-Only-Folge — kein Livestream, nur Stimmen. Erschienen April 2023, mitten im KI-Hype, mit einem technischen Tiefgang, der über „ChatGPT ist toll” hinausgeht.
Worum es geht
Nach drei Monaten Pause — der Winter war grau und dunkel — melden sich Kai und Gerhard zurück. Ohne Kamera, ohne Livestream, nur Stimmen. Das Thema: Neural Radiance Fields, kurz NeRF. Kein ChatGPT-Hype-Recycling, sondern eine konkrete Technologie, die 2023 langsam aus der Forschung in die Praxis kommt.
Kai erklärt NeRF von Grund auf: Fotogrammetrie macht viele Fotos und berechnet daraus mathematisch eine 3D-Punktewolke. NeRF macht dasselbe — aber trainiert statt dessen ein neuronales Netz mit den Fotos. Das Netz lernt das Objekt als volumetrischen Körper, inklusive Lichtverhalten. Das Ergebnis: auch reflektierende und transparente Objekte (Glas, Metall, Flüssigkeiten) werden korrekt rekonstruiert — wo klassische Fotogrammetrie versagt.
Der Bezug zu Gerhards Arbeit ist direkt: Für AR-Konfiguratoren und WebAR braucht man 3D-Objekte in großer Zahl. Bisher war der Bottleneck: 3D-Modellierung von Hand ist teuer, Scanning von glänzenden Industrieprodukten kaum möglich. NeRF öffnet den Scan-Weg für genau diese Produkte — und der Export in verwendbare 3D-Meshes (USDZ, glTF) war 2023 gerade frisch möglich geworden.
Kapitel
- 0:00 — Intro: Audio-Only-Folge, drei Monate Pause, KI-Elefant im Raum
- 5:00 — 3D-Objekte für das 3D-Internet: das Beschaffungsproblem
- 10:00 — Fotogrammetrie erklärt: Fotos, Punktewolke, 3D-Mesh
- 20:00 — Laserscanning: LIDAR im iPhone, 3D-Abtasten
- 25:00 — NeRF: Neural Radiance Field — was KI anders macht
- 35:00 — Transparente und reflektierende Objekte: warum Fotogrammetrie scheitert, NeRF nicht
- 42:00 — NeRF → 3D-Mesh-Export: der neue Workflow
- 48:00 — Bedeutung für WebAR, USDZ und B2B-Konfiguratoren
Erwähnt
- Neural Radiance Fields (Paper) — Original-Paper „NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis”
- Fotogrammetrie — Verfahren zur 3D-Rekonstruktion aus Fotos
- Apple LIDAR Scanner — integrierter Scanner in iPhone Pro und iPad Pro
- USDZ — Apples AR-Dateiformat auf Basis von USD
Typische Fragen
Transkript (KI-bereinigt)
Hallo und herzlich willkommen zu einer neuen Folge von KopfKino, dem Podcast von und mit Kai Heddergott und Gerhard Schröder. Ja, zwei Männer, die sich mal wieder gesagt haben, nach drei Monaten Pause: wir müssen mal wieder reden.
Der Winter war so gefühlt lange, weil er wettermäßig so grau war und dunkel. Und jetzt ist es hell und jetzt muss man mal wieder ins Mikro. Aber es gibt ja auch verdammt viel zu besprechen.
Seit November ist ein Thema groß geworden. Da kommt man nicht dran vorbei. KI oder AI oder ML. Aber wir machen das nicht mit den üblichen Tools und SEO-Hype. Wir reden heute über eine konkrete Technologie: NeRF.
3D-Objekte: das Beschaffungsproblem
Für das wundervolle 3D-Internet brauchen wir, neben HTML für Texte und MP3 für Audio, ein Dateiformat für 3D-Objekte. Das könnte USD sein. Aber ich brauche vor allem erst mal 3D-Objekte.
Wie komme ich ran? Entweder ein 3D-Designer modelliert von Hand — wie ein Maschinenbauingenieur mit CAD. Oder ich scanne reale Objekte. Dafür gibt es drei Verfahren.
Fotogrammetrie
Ich mache ganz viele Fotos von dem Objekt aus vielen verschiedenen Blickwinkeln. Eine Teetasse: vorne, hinten, rechts, links, oben, unten. Mindestens 24 Fotos, alle leicht unterschiedlich. Aus diesen Fotos erstellt ein mathematisches Verfahren über Ähnlichkeitserkennung eine Punktewolke. Daraus wird ein 3D-Modell.
Problem: glänzende oder transparente Objekte. Ein Ikea-Wasserglas mit vielen Flächen, Ecken, Winkeln und Wasser drin — das spiegelt. In den Fotos sieht man nicht nur die Tasse, sondern die Raumspiegelung. Der Fotogrammetrie-Algorithmus steigt aus: er kann Lichtbrechung nicht verfolgen.
Laserscanning
Den haben wir alle im iPhone: die Face-ID-Erkennung ist ein kleiner Laserscanner. Größere Einheiten tasten Objekte 3D ab und kombinieren Laserdaten mit Bilddaten. Präziser als Fotogrammetrie, aber teurer.
NeRF: Neural Radiance Field
Jetzt kommen wir zum Thema NERF. Neural Radiance Field — N-E-R-F. Darum nerfen wir euch in dieser Folge.
Stellt euch vor, wir nehmen die Fotos von der Fotogrammetrie und schmeißen sie einer KI zum Fraß vor. Nicht nur ein mathematisches Verfahren, das Ähnlichkeit erkennt — sondern wir trainieren eine KI mit diesen Bildern. Dann ist die KI in der Lage, das Objekt von allen Seiten aus ihrer Gedächtnisleistung zu zeigen. Sie hat gelernt, wie das Objekt aussieht — inklusive Lichtverhalten.
Das kann auch ein Wasserglas. Weil die KI nicht nur Pixel vergleicht, sondern Lichtstrahlverläufe modelliert. Das ist der Unterschied.
Ganz frisch ist auch, dass ich aus der NeRF-Punktewolke wieder ein richtiges 3D-Modell erzeugen kann — ein Mesh, das ich für AR oder Konfiguratoren verwende. Der Kreislauf schließt sich: Smartphone-Fotos → NeRF → USDZ. Das war 2023 noch frisch.
Häufige Fragen
Was ist ein Neural Radiance Field (NeRF)?
Ein Neural Radiance Field (NeRF) ist ein KI-Verfahren zur 3D-Rekonstruktion aus Fotos. Im Gegensatz zur klassischen Fotogrammetrie — die mathematisch Ähnlichkeiten zwischen Fotos auswertet und daraus eine Punktewolke erstellt — trainiert NeRF ein neuronales Netz mit den Bildern. Das Netz lernt, das Objekt von beliebigen Winkeln zu rekonstruieren, inklusive Lichtbrechung und Spiegelung. Das ermöglicht 3D-Darstellungen von reflektierenden oder transparenten Objekten, die klassische Fotogrammetrie überfordern.
Was ist der Unterschied zwischen Fotogrammetrie, Laserscanning und NeRF?
Fotogrammetrie: viele Fotos aus verschiedenen Winkeln → mathematische Ähnlichkeitserkennung → Punktewolke → 3D-Modell. Funktioniert gut für matte, gleichmäßige Oberflächen. Laserscanning: Laserstrahl misst 3D-Abstände direkt, kombiniert mit Bilddaten. Genauer als Fotogrammetrie, aber teureres Equipment. NeRF: wie Fotogrammetrie, aber die KI lernt das Objekt als 'Volumenkörper' — kann Lichtbrechung simulieren und damit auch reflektierende oder transparente Oberflächen (Glas, Metall) korrekt darstellen.
Wozu braucht man NeRF für 3D-Content und AR?
Für das 3D-Internet — egal ob Metaverse, Spatial Computing oder WebAR — braucht man 3D-Objekte in Massen. Zwei Wege: CAD/3D-Modellierung von Hand (teuer, langsam) oder 3D-Scanning realer Objekte (schneller, skalierbar). NeRF öffnet den Scan-Weg für Objekte, die bisher problematisch waren: glänzende Produkte, Glas, Metall. Für Produktkonfiguratoren oder WebAR im B2B-Bereich ist das direkt relevant.
Kann man aus einem NeRF auch ein verwendbares 3D-Modell exportieren?
Ja — und das war 2023 noch frisch. Aus der NeRF-Punktewolke lassen sich inzwischen reguläre 3D-Meshes erzeugen, die man in anderen Workflows verwenden kann (USDZ, glTF, etc.). Das schließt den Kreislauf: Scan mit Smartphone oder Kamera → NeRF → 3D-Modell für AR oder Konfigurator. Die Qualität ist noch nicht überall produktionsreif, aber die Richtung ist klar.
Wie hängt NeRF mit USD und Spatial Computing zusammen?
USD (Universal Scene Description) ist das 3D-Dateiformat-Standard für Spatial Computing — von Apple (USDZ), Pixar, Nvidia. NeRF löst das Beschaffungsproblem: Woher kommen die vielen 3D-Objekte, die man für AR-Anwendungen braucht? Wenn man Produkte einfach mit dem iPhone abfotografieren und als NeRF → USDZ exportieren kann, skaliert der Workflow für den Mittelstand. Das war das 2023 noch fehlende Bindeglied.