--- title: 'Lokale KI im Browser: Frag unsere Fachartikel, ohne dass deine Frage das Gerät verlässt' description: 'Teste die Demo: lokale KI im Browser, ohne Cloud. Deine Frage verlässt das Gerät nicht. Mit Quellen, Ladezeiten und Herkunft aller Dateien.' slug: lokale-ki-im-browser date: '2026-10-26' author: Gerhard Schröder tags: - ki - skillcms primary_tag: ki excerpt: 'Im Mai habe ich mich gegen KI-Buttons entschieden. Jetzt steht hier ein eigener Weg: eine KI, die nur in deinem Browser läuft und aus unseren Fachartikeln antwortet. Mit allen Ladezeiten und Quellen.' canonical: https://visales.de/lokale-ki-im-browser.html --- 1. **Auf dieser Seite läuft eine KI in deinem Browser. Deine Frage verlässt dein Gerät nicht.** 2. **Sie antwortet nur aus unseren Fachartikeln und Angebotsseiten und zeigt dir die Quellen.** 3. **Dafür lädt dein Browser einmalig 135 MB bis 2,4 GB. Was, woher und wie lange: Das steht vor jedem Download.** ## Warum eine eigene KI statt ChatGPT-Buttons? Im Januar habe ich erklärt, [warum unsere Website bewusst viele Texte enthält](/1-warum-unsere-neue-website-bewusst-viele-texte-enthalt-und-was-ki-damit-zu-tun-hat.html). Seitdem steht auf der Kontaktseite ein Link „Lieber fragen als lesen“. Dahinter liegt ein NotebookLM von Google mit unseren Texten, Vorträgen und Projekten. Einige haben es genutzt. Zwei Haken hat es: Wer fragt, braucht ein Google-Konto und zeigt mir dabei seine Gmail-Adresse. Und ohne bezahltes Google-Abo geht es nicht. Im Februar habe ich aufgeschrieben, dass eine Website künftig [drei Türen hat](/website-zukunft-ki-agent-2d-openusd.html): eine für Menschen im Browser, eine für KI-Agenten, eine in 3D. Im Mai wollte ich die KI-Tür mit drei Buttons öffnen: „Frag ChatGPT“, „Frag Claude“, „Frag Perplexity“. [Ich habe es gelassen](/warum-ich-keine-ki-buttons-auf-die-visales-startseite-baue-jedenfalls-so-nicht.html). Der Besucher wäre weg gewesen, seine Frage bei einem US-Anbieter. Als dritte Option stand damals auf meinem Zettel: ein eigener Chat. Hier ist er, nur anders, als ich im Mai dachte: ohne Server. Die KI rechnet in deinem Browser. Du brauchst dafür weder ein Konto noch ein Abo, und deine Mailadresse sieht niemand. ## Lokale KI im Browser testen: Frag unsere Fachartikel Frag etwas zu unseren Themen, etwa „Was ist der Unterschied zwischen USDZ und glTF?“. Nach weniger als einer Sekunde siehst du die vier Stellen aus unseren Texten, die am besten passen. Auf Wunsch schreibt ein Sprachmodell daraus eine Antwort, mit Quellennummern. Wir sehen deine Frage nicht. Niemand sieht sie. Dafür lädt dein Browser beim ersten Mal Modelldateien herunter. Wie viele, das sagt dir die Demo vorher. Solange du nur liest, lädt diese Seite nichts nach. **Was du brauchst:** 1. Laptop oder Desktop (PC oder Mac) für die ausformulierten Antworten. Auf dem Handy gibt es nur die Suche. 2. Einen aktuellen Browser mit WebGPU. Getestet haben wir mit einem Chromium-Browser (die Basis von Chrome und Edge) und mit Safari auf dem Mac. Firefox noch nicht. 3. Geduld beim ersten Start: 5 bis 20 Minuten für das Antwortmodell. Danach liegt es im Speicher deines Browsers. Interaktive Demo: Auf der HTML-Fassung dieser Seite kannst du die Fachartikel von visales.de im Browser befragen. Suche und Sprachmodell laufen dabei auf deinem Gerät. ## So funktioniert KI im Browser: erst suchen, dann antworten Die Demo arbeitet in zwei Stufen. Beide laufen auf deinem Rechner. ### Stufe 1: Die Suche findet die passenden Stellen Wir haben unsere Texte in rund 2.150 kurze Abschnitte zerlegt. Für jeden Abschnitt haben wir vorab einen Zahlenvektor berechnet: eine Art Fingerabdruck dessen, worum es geht. Alle Vektoren zusammen liegen als Datei auf visales.de, ca. 3 MB. Dein Browser holt sie erst, wenn du auf „Demo starten“ klickst.
Technik der Suche im Detail Deine Frage rechnet das Suchmodell **multilingual-e5-small** in denselben Fingerabdruck um. Dann vergleicht die Demo und zeigt dir die vier ähnlichsten Abschnitte. Das Suchmodell läuft über die Bibliothek Transformers.js und braucht keine Grafikkarte. Deshalb klappt die Suche auch auf dem Handy. Fragst du nach dem Preis eines USDZ-Workshops, steht unsere Seite zur OpenUSD-Beratung oben. Fragst du nach Wärmepumpen, sagt dir die Demo: Dazu kennt sie nichts. Gemessen: In Chromium stehen die Quellen nach weniger als einer Sekunde da, in Safari nach höchstens 1,9 Sekunden.
### Stufe 2: Ein Sprachmodell schreibt die Antwort Die vier Abschnitte und deine Frage gehen an ein Sprachmodell, das ebenfalls in deinem Browser rechnet. Du wählst zwischen zwei Modellen der Reihe **Qwen3**:
Die zwei Antwortmodelle im Detail 1. **Klein und schnell:** Qwen3 1,7B, 1,0 GB Download. 2. **Groß und genauer:** Qwen3 4B, 2,3 GB Download. Beide laufen über WebLLM. Dafür braucht dein Browser WebGPU, also Zugriff auf die Grafikeinheit deines Rechners.
Das Modell darf nur aus den vier Abschnitten antworten. Findet es dort nichts, schreibt es: „Dazu steht in den Artikeln nichts.“ Unter jeder Antwort stehen die Quellen mit Link auf die Stelle im Text. Jede Aussage kannst du so nachprüfen. Damit fallen zwei Probleme weg, die mich im Mai von den KI-Buttons abgehalten haben: Die KI holt sich keine Preisspannen aus dem Netz, sie kennt nur unsere Texte. Und sie schickt dich nicht in einen fremden Tab. ## Datenschutz bei KI im Browser: was dein Browser lädt und woher Deine Frage bleibt auf deinem Gerät. Die Modelldateien kommen von außen. Bei jedem Download steht in der Demo, woher.
Alle Dateien, Größen und Herkunft 1. **Seite, Demo-Code, Zahlen zur Datenbasis:** unter 50 KB von visales.de, beim Öffnen der Seite. 2. **Suchindex (Abschnitte und Vektoren):** ca. 3 MB von visales.de, nach Klick auf „Demo starten“. 3. **Programmbibliotheken Transformers.js, WebLLM und ONNX-Laufzeit:** einige MB von jsDelivr, mit dem jeweiligen Modell. 4. **Laufzeitdatei des gewählten Antwortmodells (aus dem Open-Source-Projekt MLC):** ca. 6,5 MB von visales.de, mit dem Antwortmodell. 5. **Antwortmodell Qwen3 1,7B:** ca. 1,0 GB von Hugging Face, nach deiner Zustimmung. 6. **Antwortmodell Qwen3 4B:** ca. 2,3 GB von Hugging Face, nach deiner Zustimmung. 7. **Suchmodell multilingual-e5-small:** ca. 135 MB von Hugging Face, nach deiner Zustimmung. Hugging Face ist die größte offene Plattform für KI-Modelle. Ein Konto brauchst du weder dort noch bei uns. Wie bei jedem Download sieht Hugging Face deine IP-Adresse, deine Frage sieht es nicht. jsDelivr liefert die Programmbibliotheken. Die Laufzeitdateien für die Antwortmodelle stammen aus dem Open-Source-Projekt MLC, wir liefern sie selbst von visales.de aus. Das ist einfacher und schont deine Daten.
Im Mai wollte ich wissen, was Interessenten fragen. Ein eigener Chat mit Protokoll hätte mir das verraten. Diese Bauweise verrät es mir nicht. Das ist der Preis dafür, dass deine Frage das Gerät nicht verlässt. Ich zahle ihn sehr gern.
Wie lange das Laden dauert Hugging Face liefert in unseren Tests rund 3 MB pro Sekunde, auch an einer schnellen Leitung. Beim ersten Mal heißt das: 1. Kleines Antwortmodell: 5 bis 10 Minuten. 2. Großes Antwortmodell: 10 bis 20 Minuten. 3. Suchmodell: knapp eine Minute. Willst du nur die Suche, wählst du „Nur Suche, ohne Sprachmodell“. Dann lädt die Demo nur das Suchmodell. Danach liegt alles im Speicher deines Browsers. Beim nächsten Besuch lädt die Demo die Modelle nicht noch einmal. Die Antwort braucht länger als bei ChatGPT, weil dein Rechner die ganze Arbeit macht. Auf einem MacBook mit M1 und 8 GB Arbeitsspeicher haben wir gemessen: kleines Modell typisch 21 Sekunden bis zur fertigen Antwort, großes Modell typisch 73 Sekunden. Der Mac lief dabei am Limit. Mit 16 GB dürfte es schneller gehen. Die Quellen siehst du in beiden Fällen sofort.
Warum auf dem Handy nur die Suche läuft 1 bis 2,3 GB über das Mobilnetz laden: Das mute ich niemandem zu. Dazu belegt das große Modell rund 3,4 GB Grafikspeicher. Auf dem Handy bietet die Demo deshalb nur die Suche an. Die ausformulierten Antworten gibt es am Laptop oder Desktop.
## Was die KI im Browser kennt und wie gut sie antwortet
Datenbasis: 182 Fachartikel und 48 Seiten Die Demo kennt einen Auszug unserer Website, nicht die ganze. Grundlage sind die Markdown-Dateien, aus denen unser [SkillCMS](/skillcms.html) die Website baut. Aktuell sind das **182 von 319 veröffentlichten Fachartikeln** und **48 Seiten, darunter unsere Leistungs- und Angebotsseiten**. Nicht dabei: Podcast-Folgen, Schröders Notizen, Impressum, Datenschutz und die englischen Seiten. Mit jedem neuen Artikel bauen wir den Suchindex neu. Fragst du etwas, das nicht in diesem Auszug steht, sagt die Demo das, statt zu raten.
### Wie gut die Antworten sind Wir haben die Demo mit 20 Fragen getestet: 17, zu denen unsere Texte etwas sagen, und 3, zu denen sie nichts sagen (Wärmepumpe, Kubernetes, Stundensatz). 1. **Großes Modell:** 14 Antworten richtig, 3 teilweise richtig, keine erfunden. Die 3 fremden Fragen hat es ehrlich verneint. 2. **Kleines Modell:** 11 richtig, 5 teilweise, 1 falsch, die 3 fremden Fragen ebenfalls ehrlich verneint. Fair gesagt: Die Suche haben wir an genau diesen 20 Fragen eingestellt. Meine eigenen Fragen danach bestätigen den Eindruck: Für eine KI, die komplett in deinem Browser läuft, sind die Antworten gut. Das kleine Modell bleibt öfter vage, das große trifft genauer und braucht länger. ## Lokale KI vom eigenen Server Für die Demo kommt das Modell von Hugging Face, beim Kunden läuft es genauso vom eigenen Server. Im Code ist das eine einzige Einstellung. Dann verlässt weder die Frage noch der Download euer Netz. Im April habe ich beim [Werkstattbericht zu SkillCMS](/skillcms-workflow-vom-impuls-zur-reichweite.html) geschrieben: Wir werden künftig nicht nur Cloud-KI nutzen, sondern immer öfter lokale KI. Diese Demo ist ein Stück davon. Sinnvoll ist das überall, wo Inhalte vertraulich sind: im Intranet, in der Wissensdatenbank für den Vertrieb, im Kundenportal mit Datenblättern. Eine Grenze gehört dazu. In Defence, Aerospace und überall, wo NDAs gelten, scheitert eine Browserlösung vermutlich: an den Sicherheitseinstellungen der Firmenrechner oder an der Geheimhaltung selbst. Dort gehört die KI auf einen Rechner im eigenen Haus. So arbeiten wir inzwischen selbst: Bei uns steht ein Mac mini mit lokaler KI. Darauf erzeugen wir Bilder aus CAD-Daten, schneiden Videos und verarbeiten alles, was unter NDA steht und unsere Rechner nicht verlässt. Für viele andere Kunden ist die Browserlösung eine gute Wahl. ## Ausblick: KI im Browser ohne Download Der größte Haken der Demo ist der Download. 1 bis 2,3 GB, bevor die erste Antwort kommt: Das ist eine Hürde, und das weiß ich. Dabei liegt auf vielen Rechnern bereits ein Sprachmodell. Jeder Mac mit Apple-Chip bringt mit Apple Intelligence ein lokales Sprachmodell mit. Apps, Kurzbefehle und seit macOS 27 auch das Terminal können es nutzen, Websites bisher nicht. Deshalb bringt unsere Demo ihr eigenes Modell mit. Könnte eine Website dieses Modell über den Browser ansprechen, fiele der Download weg. Die Suche bliebe gleich, die Antwort käme vom Modell, das auf deinem Mac ohnehin installiert ist. Dann wäre KI im Browser eine wirklich gute Lösung: für uns und für jede Website mit sauber gegliederten Inhalten. Ehrlich gesagt: Kommt dieser Weg über Apple Intelligence, wäre das ein Hammer. Ich hoffe, das kommt bald. ## Fazit: Websites sollten Antwort-Pakete bereitstellen Websites bieten KI-Systemen heute schon eigene Formate an: [Grounding-Seiten](/ki-daten.html), die Begriffe sauber definieren, und eine [llms.txt](/llms.txt) als Inhaltsverzeichnis für Sprachmodelle. Ich glaube, als Nächstes kommt das Antwort-Paket: die Inhalte einer Website, fertig zerlegt und mit Suchindex, bereit für die KI im Browser des Besuchers. Kommt das Sprachmodell dann aus dem Betriebssystem, etwa über Apple Intelligence, fällt der Download weg. Die Website hat ihre Daten sofort zur Hand, und der Besucher bekommt Antworten aus erster Quelle, ohne dass seine Frage das Gerät verlässt. Das kann schnell gehen. Wer dann vorbereitet ist, ist vorn. Für uns war die Aufbereitung kaum Arbeit. Artikel zerlegen, Index bauen: Die KI hat rund fünf Minuten gerechnet. Möglich war das, weil alle unsere Inhalte als Markdown-Dateien vorliegen, aus denen [SkillCMS](/skillcms.html) die Website baut. Wohl dem, der seine Inhalte so hat und nicht in einem CMS vergraben. Dazu kommt die Struktur: klare Überschriften, kurze Abschnitte, jede FAQ als eigene Frage mit Antwort. Dieselbe Struktur braucht [Googles AI Mode](/google-ai-mode-aendert-suche-visales-website-anpassen.html), wenn er dich als Quelle zitieren soll, und dieselbe Struktur lesen KI-Agenten, die über [agents.md](/agents-md-b2b-website-shopify-ki-shopping.html) mit deiner Website arbeiten. Drei Türen, eine Quelle. Wie das für deine Website aussieht, mit Cloud-KI oder lokaler KI, klären wir in einer Beratung. Pakete und Preise: [Website & KI-Sichtbarkeit](/website-ki-sichtbarkeit.html). Viele Grüße aus Velbert, Gerhard Schröder