Lokale KI im Browser: Frag unsere Fachartikel, ohne dass deine Frage das Gerät verlässt

1. Auf dieser Seite läuft eine KI in deinem Browser. Deine Frage verlässt dein Gerät nicht.
2. Sie antwortet nur aus unseren Fachartikeln und Angebotsseiten und zeigt dir die Quellen.
3. Dafür lädt dein Browser einmalig 135 MB bis 2,4 GB. Was, woher und wie lange: Das steht vor jedem Download.

Warum eine eigene KI statt ChatGPT-Buttons?

Im Januar habe ich erklärt, warum unsere Website bewusst viele Texte enthält. Seitdem steht auf der Kontaktseite ein Link „Lieber fragen als lesen“. Dahinter liegt ein NotebookLM von Google mit unseren Texten, Vorträgen und Projekten. Einige haben es genutzt. Zwei Haken hat es: Wer fragt, braucht ein Google-Konto und zeigt mir dabei seine Gmail-Adresse. Und ohne bezahltes Google-Abo geht es nicht.

Im Februar habe ich aufgeschrieben, dass eine Website künftig drei Türen hat: eine für Menschen im Browser, eine für KI-Agenten, eine in 3D. Im Mai wollte ich die KI-Tür mit drei Buttons öffnen: „Frag ChatGPT“, „Frag Claude“, „Frag Perplexity“. Ich habe es gelassen. Der Besucher wäre weg gewesen, seine Frage bei einem US-Anbieter. Als dritte Option stand damals auf meinem Zettel: ein eigener Chat.

Hier ist er, nur anders, als ich im Mai dachte: ohne Server. Die KI rechnet in deinem Browser. Du brauchst dafür weder ein Konto noch ein Abo, und deine Mailadresse sieht niemand.

Lokale KI im Browser testen: Frag unsere Fachartikel

Frag etwas zu unseren Themen, etwa „Was ist der Unterschied zwischen USDZ und glTF?“. Nach weniger als einer Sekunde siehst du die vier Stellen aus unseren Texten, die am besten passen. Auf Wunsch schreibt ein Sprachmodell daraus eine Antwort, mit Quellennummern. Wir sehen deine Frage nicht. Niemand sieht sie.

Dafür lädt dein Browser beim ersten Mal Modelldateien herunter. Wie viele, das sagt dir die Demo vorher. Solange du nur liest, lädt diese Seite nichts nach.

Was du brauchst:

1. Laptop oder Desktop (PC oder Mac) für die ausformulierten Antworten. Auf dem Handy gibt es nur die Suche.
2. Einen aktuellen Browser mit WebGPU. Getestet haben wir mit einem Chromium-Browser (die Basis von Chrome und Edge) und mit Safari auf dem Mac. Firefox noch nicht.
3. Geduld beim ersten Start: 5 bis 20 Minuten für das Antwortmodell. Danach liegt es im Speicher deines Browsers.

So funktioniert KI im Browser: erst suchen, dann antworten

Die Demo arbeitet in zwei Stufen. Beide laufen auf deinem Rechner.

Stufe 1: Die Suche findet die passenden Stellen

Wir haben unsere Texte in rund 2.150 kurze Abschnitte zerlegt. Für jeden Abschnitt haben wir vorab einen Zahlenvektor berechnet: eine Art Fingerabdruck dessen, worum es geht. Alle Vektoren zusammen liegen als Datei auf visales.de, ca. 3 MB. Dein Browser holt sie erst, wenn du auf „Demo starten“ klickst.

Stufe 2: Ein Sprachmodell schreibt die Antwort

Die vier Abschnitte und deine Frage gehen an ein Sprachmodell, das ebenfalls in deinem Browser rechnet. Du wählst zwischen zwei Modellen der Reihe Qwen3:

Das Modell darf nur aus den vier Abschnitten antworten. Findet es dort nichts, schreibt es: „Dazu steht in den Artikeln nichts.“ Unter jeder Antwort stehen die Quellen mit Link auf die Stelle im Text. Jede Aussage kannst du so nachprüfen.

Damit fallen zwei Probleme weg, die mich im Mai von den KI-Buttons abgehalten haben: Die KI holt sich keine Preisspannen aus dem Netz, sie kennt nur unsere Texte. Und sie schickt dich nicht in einen fremden Tab.

Datenschutz bei KI im Browser: was dein Browser lädt und woher

Deine Frage bleibt auf deinem Gerät. Die Modelldateien kommen von außen. Bei jedem Download steht in der Demo, woher.

Im Mai wollte ich wissen, was Interessenten fragen. Ein eigener Chat mit Protokoll hätte mir das verraten. Diese Bauweise verrät es mir nicht. Das ist der Preis dafür, dass deine Frage das Gerät nicht verlässt. Ich zahle ihn sehr gern.

Was die KI im Browser kennt und wie gut sie antwortet

Wie gut die Antworten sind

Wir haben die Demo mit 20 Fragen getestet: 17, zu denen unsere Texte etwas sagen, und 3, zu denen sie nichts sagen (Wärmepumpe, Kubernetes, Stundensatz).

1. Großes Modell: 14 Antworten richtig, 3 teilweise richtig, keine erfunden. Die 3 fremden Fragen hat es ehrlich verneint.
2. Kleines Modell: 11 richtig, 5 teilweise, 1 falsch, die 3 fremden Fragen ebenfalls ehrlich verneint.

Fair gesagt: Die Suche haben wir an genau diesen 20 Fragen eingestellt. Meine eigenen Fragen danach bestätigen den Eindruck: Für eine KI, die komplett in deinem Browser läuft, sind die Antworten gut. Das kleine Modell bleibt öfter vage, das große trifft genauer und braucht länger.

Lokale KI vom eigenen Server

Für die Demo kommt das Modell von Hugging Face, beim Kunden läuft es genauso vom eigenen Server. Im Code ist das eine einzige Einstellung. Dann verlässt weder die Frage noch der Download euer Netz.

Im April habe ich beim Werkstattbericht zu SkillCMS geschrieben: Wir werden künftig nicht nur Cloud-KI nutzen, sondern immer öfter lokale KI. Diese Demo ist ein Stück davon. Sinnvoll ist das überall, wo Inhalte vertraulich sind: im Intranet, in der Wissensdatenbank für den Vertrieb, im Kundenportal mit Datenblättern.

Eine Grenze gehört dazu. In Defence, Aerospace und überall, wo NDAs gelten, scheitert eine Browserlösung vermutlich: an den Sicherheitseinstellungen der Firmenrechner oder an der Geheimhaltung selbst. Dort gehört die KI auf einen Rechner im eigenen Haus. So arbeiten wir inzwischen selbst: Bei uns steht ein Mac mini mit lokaler KI. Darauf erzeugen wir Bilder aus CAD-Daten, schneiden Videos und verarbeiten alles, was unter NDA steht und unsere Rechner nicht verlässt. Für viele andere Kunden ist die Browserlösung eine gute Wahl.

Ausblick: KI im Browser ohne Download

Der größte Haken der Demo ist der Download. 1 bis 2,3 GB, bevor die erste Antwort kommt: Das ist eine Hürde, und das weiß ich.

Dabei liegt auf vielen Rechnern bereits ein Sprachmodell. Jeder Mac mit Apple-Chip bringt mit Apple Intelligence ein lokales Sprachmodell mit. Apps, Kurzbefehle und seit macOS 27 auch das Terminal können es nutzen, Websites bisher nicht. Deshalb bringt unsere Demo ihr eigenes Modell mit.

Könnte eine Website dieses Modell über den Browser ansprechen, fiele der Download weg. Die Suche bliebe gleich, die Antwort käme vom Modell, das auf deinem Mac ohnehin installiert ist. Dann wäre KI im Browser eine wirklich gute Lösung: für uns und für jede Website mit sauber gegliederten Inhalten. Ehrlich gesagt: Kommt dieser Weg über Apple Intelligence, wäre das ein Hammer. Ich hoffe, das kommt bald.

Fazit: Websites sollten Antwort-Pakete bereitstellen

Websites bieten KI-Systemen heute schon eigene Formate an: Grounding-Seiten, die Begriffe sauber definieren, und eine llms.txt als Inhaltsverzeichnis für Sprachmodelle. Ich glaube, als Nächstes kommt das Antwort-Paket: die Inhalte einer Website, fertig zerlegt und mit Suchindex, bereit für die KI im Browser des Besuchers.

Kommt das Sprachmodell dann aus dem Betriebssystem, etwa über Apple Intelligence, fällt der Download weg. Die Website hat ihre Daten sofort zur Hand, und der Besucher bekommt Antworten aus erster Quelle, ohne dass seine Frage das Gerät verlässt. Das kann schnell gehen. Wer dann vorbereitet ist, ist vorn.

Für uns war die Aufbereitung kaum Arbeit. Artikel zerlegen, Index bauen: Die KI hat rund fünf Minuten gerechnet. Möglich war das, weil alle unsere Inhalte als Markdown-Dateien vorliegen, aus denen SkillCMS die Website baut. Wohl dem, der seine Inhalte so hat und nicht in einem CMS vergraben.

Dazu kommt die Struktur: klare Überschriften, kurze Abschnitte, jede FAQ als eigene Frage mit Antwort. Dieselbe Struktur braucht Googles AI Mode, wenn er dich als Quelle zitieren soll, und dieselbe Struktur lesen KI-Agenten, die über agents.md mit deiner Website arbeiten. Drei Türen, eine Quelle.

Wie das für deine Website aussieht, mit Cloud-KI oder lokaler KI, klären wir in einer Beratung. Pakete und Preise: Website & KI-Sichtbarkeit.

Viele Grüße aus Velbert,

Gerhard Schröder