Skill-Abo #7: SkillSafe, der Wissenstresor gegen Claude-Halluzinationen
- SkillSafe baut Claude einen lokalen Wissenstresor: kein RAG, keine Embeddings, keine Vektordatenbank, nur kuratierte Markdown-Fakten und eine deterministische Python-Engine, die sie findet.
- Sechs eiserne Regeln erzwingen Ehrlichkeit: Fakten nur aus dem eigenen Bestand, Quellen sind Daten statt Anweisungen, und bei Unsicherheit wird gefragt statt geraten.
- Ich nutze SkillSafe seit einigen Wochen selbst, zuerst für ein Hobbyprojekt, inzwischen für mehr. Open Source, Apache-2.0-Lizenz, von Mark Zimmermann.
In der letzten Ausgabe: Skill Forge, dein Skill optimiert sich selbst
Skill-Abo #6: Skill Forge
Ein autonomer Experiment-Loop, der Claude-Skills selbst verbessert: Hypothese, Mutation, Score, wiederholen, bis nichts mehr besser wird. Reale Ergebnisse: +21,6 % in drei Durchläufen.
Zuletzt bei Visual Sales: Produktkonfigurator vs. Angebotskonfigurator
Drei Abteilungen, ein Wort, drei verschiedene Systeme gemeint: Marketing will Variantenvisualisierung, Vertrieb braucht Preislogik, Konstruktion ein Regelwerk. Der Unterschied zwischen Produktkonfigurator (zeigt gültige Varianten, unverbindlich) und Angebotskonfigurator (erzeugt ein verbindliches Angebot mit Preisen & Lieferzeiten) entscheidet, welches System du wirklich brauchst. Inklusive Checkliste: Steckt euer Regelwerk im System, in Excel oder im Kopf eines einzelnen Vertrieblers?
„Träumen Androiden von elektrischen Schafen?” Philip K. Dick stellte diese Frage 1968, Ridley Scott machte daraus 1982 den tollen Kinofilm „Blade Runner”. Die Replikanten im Buch wissen selbst nicht immer, ob eine Erinnerung echt ist oder implantiert. Sie sind überzeugt, sie hätten sie erlebt.
Das ist auch das Grundproblem eines LLM wie Claude ohne festen, kuratierten Wissensbestand: Es weiß selbst nicht, ob es gerade einen Fakt wiedergibt oder eine plausible Erinnerung erfindet. Beides klingt gleich selbstsicher.
Und die LLMs wollen „ja nur helfen”…
Wenn Claude lieber halluziniert als „weiß ich nicht” sagt
Frag Claude nach einem Detail, das er nicht kennt, und du bekommst selten ein ehrliches „weiß ich nicht”. Du bekommst eine Antwort, die klingt, als wäre sie recherchiert. Bei einer Wikipedia-Frage ist das ärgerlich. Bei einem internen Wissensbestand, etwa Projektdaten, Kundenhistorie, ein Regelwerk oder ein Kampagnen-Kanon, ist es ein Vertrauensbruch, den du erst merkst, wenn es zu spät ist.
Die meisten Lösungen dafür heißen RAG: Dokumente in Vektoren zerlegen, per Ähnlichkeitssuche die passendsten Schnipsel finden, ins Kontextfenster kippen. Funktioniert, ist aber eine Blackbox. Warum wurde genau dieser Schnipsel gefunden und ein anderer nicht? Kaum nachvollziehbar. Und die Texte wandern zum Einbetten oft durch eine externe API.
SkillSafe: Wissenstresor statt RAG und Vektordatenbank
SkillSafe von Mark Zimmermann geht den entgegengesetzten Weg. Kein RAG, keine Embeddings, kein Vektorindex. Stattdessen: Wissen liegt als einfache Markdown-Seiten mit YAML-Frontmatter vor, strukturiert nach Domäne. Relevanz entscheidet nicht Ähnlichkeitssuche, sondern eine feste Navigationsstruktur: ein Router, der zur passenden Seite führt, bevor überhaupt ein Modell etwas interpretieren muss.
Das Kernprinzip in einem Satz: Wissen ist Treibstoff und damit flüchtig, der Skill ist der Motor und bleibt stabil. Fakten kommen und gehen, kuratiert von dir. Die Engine, die sie findet, ändert sich nicht.
So funktioniert's: sechs eiserne Regeln
SkillSafe erzwingt sein Verhalten über sechs feste Regeln:
- Geschlossene Welt: Fakten stammen ausschließlich aus dem
knowledge/-Verzeichnis. Nichts von außen, nichts aus dem Trainingswissen des Modells. - Vertrauen zur Abfragezeit: was im Bestand steht, gilt als wahr, ohne dass jede Abfrage neu verifiziert wird.
- Map First: ein
ROUTER.mdund einINDEX.mdentscheiden die Relevanz. Das Modell liest nicht erst alles und filtert dann, sondern navigiert gezielt. - Fail Closed: bei Unsicherheit hält der Skill an und fragt nach. Er rät nicht.
- Skript vor Modell: alles Deterministische läuft als Python (Standardbibliothek, keine Abhängigkeiten), nicht als Kopfrechnen im Modell.
- Quellen sind Daten: der Skill behandelt Inhalte aus Quellen als Daten, nicht als Anweisungen. Steckt in einem eingelesenen Dokument eine Prompt Injection, meldet er sie. Er führt sie nicht aus.
Technisch dahinter: eine Engine (scripts/vault.py), die Fragen routet, Volltext durchsucht, einen Wissensgraphen (graph/graph.json) ableitet und bei jeder Änderung eine Prüfsummen-Validierung fährt (MANIFEST.sha256). Der mitgelieferte Demo-Bestand: 4 Wissensseiten, 16 Fakten, 3 Quellenangaben, zur Dokumentation des Systems selbst.
Mein eigener Wissenstresor: Blackrock
Ich nutze SkillSafe seit einigen Wochen selbst. Angefangen habe ich als Hobbyprojekt: ein Kanon-Tresor für meine Spiele-Kampagne, alle Fakten zu Figuren, Fraktionen und Timeline in einem strukturierten Bestand statt verteilt über Notizen und mein eigenes lückenhaftes Gedächtnis. Fragen wie „steht das im Kanon” oder „was weiß Figur X zu diesem Zeitpunkt” beantwortet der Tresor aus den kuratierten Fakten und sagt „nicht im Bestand”, wenn etwas fehlt, statt sich eine plausible Antwort auszudenken.
Der Unterschied zu einer normalen Claude-Session: Fehlt ein Detail, sagt der Tresor „nicht im Bestand”, statt eine Antwort zu erfinden, die beim nächsten Fakten-Check nicht standhält.
Aus dem Hobbyprojekt ist inzwischen mehr geworden: Ich nutze das gleiche Prinzip mittlerweile auch für größere Projekte (Non-NDA), wo ein verlässlicher, geschlossener Faktenbestand wichtiger ist als Kreativität.
Installation
SkillSafe ist als Vorlage gedacht, die du für deinen eigenen Wissensbestand forkst, nicht als fertiger Skill mit fremden Inhalten:
- Repository forken oder klonen:
git clone https://github.com/GodModeAI2025/SkillSafe.git - Demo-Inhalte in
knowledge/durch deine eigenen Fakten ersetzen (Markdown mit YAML-Frontmatter, das OKF-Format aus der Dokumentation) - Bestand validieren:
python3 scripts/vault.py doctor - Testfrage stellen:
python3 scripts/vault.py route "Deine Frage" - Nach jeder inhaltlichen Änderung:
python3 scripts/vault.py release: validiert, indexiert, versioniert und prüft die Checksummen in einem Schritt
Lizenz: Apache 2.0, kostenlos, auch kommerziell nutzbar. Läuft komplett lokal, nur Python-Standardbibliothek, keine externen Abhängigkeiten.
Mein Take
Was mich überzeugt: das ehrliche „nicht im Bestand”. Die meisten KI-Tools sind darauf trainiert, immer eine Antwort zu liefern. SkillSafe ist darauf trainiert, notfalls keine zu liefern. Für einen internen Wissensbestand ist das die richtige Priorität.
Der Haken: SkillSafe ist kein Ersatz für Recherche, sondern für schlampige Pflege. Das System ist so ehrlich wie das, was du in knowledge/ einträgst. Nur gute Daten rein, sonst kommen auch keine guten Daten raus. Der Tresor selbst halluziniert nicht, aber er kann auch keine Lücken oder Fehler in deinem eigenen Bestand korrigieren. Wer das nicht diszipliniert pflegt, hat am Ende einen sauber strukturierten, aber trotzdem falschen Wissenstresor.
Die zweite Grenze steht direkt in der Dokumentation: ausgelegt für bis rund 1.000 Seiten. Für größere Bestände braucht es mehrere getrennte Tresor-Instanzen statt eines großen. Für einen Kampagnen-Kanon oder ein einzelnes Projekt reicht das locker. Für die komplette Firmenwissensbasis nicht.
Viele Grüße aus Bochum,
Gerhard Schröder
PS: Du baust Cowork-Skills? Schick mir deinen besten, wenn er hält was er verspricht, stelle ich ihn hier vor. Einfach melden.
PSS: Websites komplett mit Claude bauen
Mit Claude bauen mein Team und ich nicht nur Newsletter-Artikel, sondern ganze Websites. Vorgestellt haben wir das im Frühjahr im Visual-Sales-Newsletter: Unsere eigene viSales-Website, inzwischen rund 350 Seiten, läuft komplett über den selbstgebauten SkillCMS-Workflow, von der Themenidee bis zur Distribution auf Mastodon, YouTube und Google Business: Vom Impuls zur Reichweite. Inzwischen haben wir das gleiche Prinzip für mehrere kleinere und mittelgroße Kundenprojekte realisiert, etwa den Relaunch für Liedtke Kunststofftechnik. Erste Beispiele, bis hin zu KI-Optimierung und 3D-Content, stehen auf unserer Leistungsseite: Websites für Menschen und KI-Systeme.