Wir NERFen Euch — Neural Radiance Field, Visual Com-Podcast Ep. 71

Der Talk von Kai Heddergott und Gerhard Schröder zu visueller Unternehmenskommunikation. Ep. 71 ist eine Audio-Only-Folge — kein Livestream, nur Stimmen. Erschienen April 2023, mitten im KI-Hype, mit einem technischen Tiefgang, der über „ChatGPT ist toll” hinausgeht.

→ Alle Folgen im Archiv

Fotogrammetrie erstellt aus vielen Fotos über mathematische Ähnlichkeitserkennung eine 3D-Punktewolke — scheitert aber an reflektierenden oder transparenten Objekten wie Glas oder Metall. NeRF trainiert stattdessen ein neuronales Netz mit denselben Fotos, das das Objekt als volumetrischen Körper lernt und dabei auch Lichtverhalten korrekt modelliert.

Für WebAR, Produktkonfiguratoren und das 3D-Internet braucht man 3D-Objekte in großer Zahl. NeRF öffnet den Scan-Weg für glänzende Industrieprodukte, die klassische Fotogrammetrie überfordern. Der Workflow lautet: Fotos mit dem Smartphone → NeRF → USDZ oder glTF — einsatzbereit für AR.

Ja — und das war 2023 gerade frisch möglich geworden. Aus der NeRF-Punktewolke lassen sich reguläre 3D-Meshes erzeugen, die sich in anderen Workflows (USDZ, glTF) weiterverwenden lassen. Der Kreislauf schließt sich: Smartphone-Fotos → NeRF → 3D-Modell für AR oder Konfigurator.

Hallo und herzlich willkommen zu einer neuen Folge von KopfKino, dem Podcast von und mit Kai Heddergott und Gerhard Schröder. Ja, zwei Männer, die sich mal wieder gesagt haben, nach drei Monaten Pause: wir müssen mal wieder reden.

Der Winter war so gefühlt lange, weil er wettermäßig so grau war und dunkel. Und jetzt ist es hell und jetzt muss man mal wieder ins Mikro. Aber es gibt ja auch verdammt viel zu besprechen.

Seit November ist ein Thema groß geworden. Da kommt man nicht dran vorbei. KI oder AI oder ML. Aber wir machen das nicht mit den üblichen Tools und SEO-Hype. Wir reden heute über eine konkrete Technologie: NeRF.

3D-Objekte: das Beschaffungsproblem

Für das wundervolle 3D-Internet brauchen wir, neben HTML für Texte und MP3 für Audio, ein Dateiformat für 3D-Objekte. Das könnte USD sein. Aber ich brauche vor allem erst mal 3D-Objekte.

Wie komme ich ran? Entweder ein 3D-Designer modelliert von Hand — wie ein Maschinenbauingenieur mit CAD. Oder ich scanne reale Objekte. Dafür gibt es drei Verfahren.

Fotogrammetrie

Ich mache ganz viele Fotos von dem Objekt aus vielen verschiedenen Blickwinkeln. Eine Teetasse: vorne, hinten, rechts, links, oben, unten. Mindestens 24 Fotos, alle leicht unterschiedlich. Aus diesen Fotos erstellt ein mathematisches Verfahren über Ähnlichkeitserkennung eine Punktewolke. Daraus wird ein 3D-Modell.

Problem: glänzende oder transparente Objekte. Ein Ikea-Wasserglas mit vielen Flächen, Ecken, Winkeln und Wasser drin — das spiegelt. In den Fotos sieht man nicht nur die Tasse, sondern die Raumspiegelung. Der Fotogrammetrie-Algorithmus steigt aus: er kann Lichtbrechung nicht verfolgen.

Laserscanning

Den haben wir alle im iPhone: die Face-ID-Erkennung ist ein kleiner Laserscanner. Größere Einheiten tasten Objekte 3D ab und kombinieren Laserdaten mit Bilddaten. Präziser als Fotogrammetrie, aber teurer.

NeRF: Neural Radiance Field

Jetzt kommen wir zum Thema NERF. Neural Radiance Field — N-E-R-F. Darum nerfen wir euch in dieser Folge.

Stellt euch vor, wir nehmen die Fotos von der Fotogrammetrie und schmeißen sie einer KI zum Fraß vor. Nicht nur ein mathematisches Verfahren, das Ähnlichkeit erkennt — sondern wir trainieren eine KI mit diesen Bildern. Dann ist die KI in der Lage, das Objekt von allen Seiten aus ihrer Gedächtnisleistung zu zeigen. Sie hat gelernt, wie das Objekt aussieht — inklusive Lichtverhalten.

Das kann auch ein Wasserglas. Weil die KI nicht nur Pixel vergleicht, sondern Lichtstrahlverläufe modelliert. Das ist der Unterschied.

Ganz frisch ist auch, dass ich aus der NeRF-Punktewolke wieder ein richtiges 3D-Modell erzeugen kann — ein Mesh, das ich für AR oder Konfiguratoren verwende. Der Kreislauf schließt sich: Smartphone-Fotos → NeRF → USDZ. Das war 2023 noch frisch.