18ae28f918
Chemenu kompiliert Rohnotizen zu einem verlinkten, quellengebundenen Wiki: raw/ -> types/ + tools/ -> kb/ -> reports/. Was mechanisch ist, macht tools/wikitool; was Urteil braucht, macht ein Agent unter Contracts, deren Grenzen in Code durchgesetzt sind statt im Prompt. Dieser Commit ist der Startpunkt der oeffentlichen Historie. Die vorherige Entwicklung fand in einer privaten Instanz statt und ist nicht Teil dieses Repositorys; ihre Erzaehlung steht vollstaendig in CHANGES.md, das mit 44 Eintraegen von 0.1.0 bis 2.1.0 erhalten geblieben ist. Der mitgelieferte Korpus ist ein Testbett und eine Demo: 170 Seiten ueber den Stack selbst - Gates, Lint, Versionierung, Suche, das Wiki-Muster. Er dokumentiert das Werkzeug mit den eigenen Mitteln des Werkzeugs. Lizenz: AGPL-3.0 fuer den Stack (tools/, types/), CC-BY-4.0 fuer die Inhalte. Die Grenze zwischen beiden ist der Dateiplan, den dist export berechnet - siehe NOTICE.
240 lines
11 KiB
Markdown
240 lines
11 KiB
Markdown
---
|
|
type: types/concept.md
|
|
concept_type: architecture
|
|
tags: [knowledge-management, llm, wiki, pattern]
|
|
created: 2026-07-26
|
|
modified: 2026-08-29
|
|
related: [Three-Layer Architecture, Knowledge Compounding, RAG, Memex, Vannevar Bush, Memory Lifecycle]
|
|
sources: [Source - LLM Wiki Pattern, Source - LLM Wiki v2]
|
|
confidence: 0.95
|
|
confidence_base: 0.95
|
|
provenance: sourced
|
|
summary: Methodik für persönliches Wissensmanagement, bei der ein LLM aus Rohquellen ein dauerhaftes Wiki aufbaut - Wissen wird kompiliert statt per RAG neu hergeleitet.
|
|
---
|
|
# LLM Wiki Pattern
|
|
|
|
**Typ:** Architektur (Muster für Personal Knowledge Management)
|
|
|
|
## Definition
|
|
|
|
Das LLM Wiki Pattern ist eine Methodik zum Aufbau persönlicher Wissensdatenbanken, bei der ein Large Language Model (LLM) schrittweise einen persistenten, strukturierten Wiki aus Raw-Source-Dokumenten aufbaut und verwaltet. Im Gegensatz zu traditionellen RAG-Systemen (Retrieval Augmented Generation), die Wissen bei jeder Abfrage von Grund auf neu ableiten, kompiliert das LLM Wiki Pattern Wissen einmal und hält es aktuell.
|
|
|
|
**Dieses Wiki selbst implementiert das LLM Wiki Pattern.**
|
|
|
|
## Kernpunkte
|
|
|
|
### Das Kernproblem
|
|
Traditionelle RAG-Ansätze (exemplifiziert durch [[NotebookLM]], [[ChatGPT]] Datei-Uploads) leiden unter:
|
|
- Wissen wird bei jeder Abfrage von Grund auf neu entdeckt
|
|
- Keine Ansammlung von synthetisiertem Verständnis
|
|
- Subtile Fragen, die Synthese mehrerer Dokumente erfordern, müssen jedes Mal neu abgeleitet werden
|
|
- Keine persistenten Cross-References oder Widerspruchsmarkierung
|
|
- Kein Akkumulationseffekt durch das Hinzufügen neuer Quellen
|
|
|
|
### Die Lösung
|
|
Das LLM Wiki Pattern führt eine **persistente Wiki-Ebene** zwischen dem Benutzer und den Rohdatenquellen ein:
|
|
- Wissen wird einmal aus jeder Quelle kompiliert
|
|
- Das Wiki wird durch Updates aktuell gehalten, wenn neue Quellen ankommen
|
|
- Cross-References werden automatisch verwaltet
|
|
- Widersprüche werden bei Erkennung markiert
|
|
- Wissen sammelt sich an, wenn mehr Quellen hinzugefügt werden
|
|
|
|
### Wichtige Einsicht
|
|
> "Das Wiki ist ein persistentes, akkumulierendes Artefakt. Die Cross-References sind bereits vorhanden. Die Widersprüche wurden bereits markiert. Die Synthese spiegelt bereits alles wider, was Sie gelesen haben. Das Wiki wird mit jeder hinzugefügten Quelle und jeder gestellten Frage reicher."
|
|
|
|
## V2-Erweiterungen
|
|
|
|
Das ursprüngliche Muster wurde in **LLM Wiki v2** (von [[Rohit Gupta]], aufgebaut auf [[Andrej Karpathy]]s Original) mit Produktionslektionen aus [[Agent Memory]] erweitert. Diese Ergänzungen behandeln, was in der Skalierung bricht und was ein Wiki unterscheidet, das nützlich bleibt, von einem, das verfällt.
|
|
|
|
### Kernverbesserungen
|
|
|
|
| Verbesserung | Zweck | Concept-Seite |
|
|
|-------------|---------|--------------|
|
|
| **Memory Lifecycle** | Wissen hat einen Lebenszyklus - er muss verwaltet werden | [[Memory Lifecycle]] |
|
|
| **Confidence Scoring** | Jede Tatsache trägt eine Zuverlässigkeitsbewertung | [[Confidence Scoring]] |
|
|
| **Supersession** | Neue Informationen ersetzen explizit alte (Versionskontrolle für Wissen) | [[Supersession]] |
|
|
| **Forgetting** | Alte, irrelevante Informationen verblassen (nicht gelöscht) | [[Forgetting]] |
|
|
| **Consolidation Tiers** | Informationen fördern durch Tiers, wenn Beweise ansammeln | [[Consolidation Tiers]] |
|
|
|
|
### Strukturverbesserungen
|
|
|
|
| Verbesserung | Zweck | Concept-Seite |
|
|
|-------------|---------|--------------|
|
|
| **Knowledge Graph** | Typisierte Entities und Beziehungen auf Seiten | [[Knowledge Graph]] |
|
|
| **Entity Extraction** | Strukturierte Entities aus Quellen extrahieren | Teil von [[Knowledge Graph]] |
|
|
| **Typed Relationships** | Nicht alle Links sind gleich (depends on, uses, contradicts usw.) | [[Knowledge Graph]] |
|
|
| **Graph Traversal** | Durch den Graphen gehen für komplexe Abfragen | [[Graph Traversal]] |
|
|
|
|
### Skalierungsverbesserungen
|
|
|
|
| Verbesserung | Zweck | Concept-Seite |
|
|
|-------------|---------|--------------|
|
|
| **Hybrid Search** | BM25, Vektorsuche und Graph-Traversal kombinieren | [[Hybrid Search]] |
|
|
| **BM25** | Keyword-Matching mit Stemming | [[BM25]] |
|
|
| **Vector Search** | Semantische Ähnlichkeit durch Einbettungen | [[Vector Search]] |
|
|
| **Reciprocal Rank Fusion** | Sucherergebnisse aus mehreren Modalitäten zusammenführen | [[Reciprocal Rank Fusion]] |
|
|
|
|
### Automatisierungsverbesserungen
|
|
|
|
| Verbesserung | Zweck | Concept-Seite |
|
|
|-------------|---------|--------------|
|
|
| **Event-Driven Automation** | Hooks für Auto-Ingest, Auto-Lint usw. | [[Event-Driven Automation]] |
|
|
| **Hooks** | Event-Listener, die Aktionen auslösen | [[Hooks]] |
|
|
|
|
### Qualitätsverbesserungen
|
|
|
|
| Verbesserung | Zweck | Concept-Seite |
|
|
|-------------|---------|--------------|
|
|
| **Quality Scoring** | Score aller von LLM geschriebenen Inhalte | [[Quality and Self-Correction]] |
|
|
| **Self-Healing** | Automatisch beheben, was Lint kann | [[Quality and Self-Correction]] |
|
|
| **Contradiction Resolution** | Automatisch Widersprüche beheben | [[Quality and Self-Correction]] |
|
|
|
|
### Zusammenarbeit-Verbesserungen
|
|
|
|
| Verbesserung | Zweck | Concept-Seite |
|
|
|-------------|---------|--------------|
|
|
| **Multi-Agent Collaboration** | Mehrere Agenten tragen zum gleichen Wiki bei | [[Multi-Agent Collaboration]] |
|
|
| **Mesh Sync** | Beobachtungen von parallelen Agenten zusammenführen | [[Multi-Agent Collaboration]] |
|
|
| **Shared vs Private** | Wissen angemessen scoping | [[Multi-Agent Collaboration]] |
|
|
| **Work Coordination** | Doppelte Arbeit verhindern | [[Multi-Agent Collaboration]] |
|
|
|
|
### Governance-Verbesserungen
|
|
|
|
| Verbesserung | Zweck | Concept-Seite |
|
|
|-------------|---------|--------------|
|
|
| **Privacy and Governance** | Sicherheit und Rechenschaftspflicht | [[Privacy and Governance]] |
|
|
| **Filter on Ingest** | Sensitive Daten automatisch entfernen | [[Privacy and Governance]] |
|
|
| **Audit Trail** | Alle Vorgänge protokollieren | [[Privacy and Governance]] |
|
|
| **Bulk Operations** | Geprüfte, reversible Massenvorgänge | [[Privacy and Governance]] |
|
|
|
|
### Erweiterte Funktionen
|
|
|
|
| Verbesserung | Zweck | Concept-Seite |
|
|
|-------------|---------|--------------|
|
|
| **Crystallization** | Erkundungen zu strukturiertem Wissen destillieren | [[Crystallization]] |
|
|
| **Implementation Spectrum** | Modularer Adoptionspfad von minimal bis voll | [[Implementation Spectrum]] |
|
|
|
|
Für einen geführten Adoptionspfad siehe [[Implementation Spectrum]].
|
|
|
|
## Architektur
|
|
|
|
Siehe [[Three-Layer Architecture]] für Details:
|
|
|
|
1. **Rohdatenquellen** — Unveränderliche kuratierte Sammlung von Quelldokumenten (Artikel, Papiere, Bilder, Datendateien)
|
|
2. **Das Wiki** — Verzeichnis von LLM-generierten Markdown-Dateien (Zusammenfassungen, Entity-Seiten, Concept-Seiten, Vergleiche, Index, Log)
|
|
3. **Das Schema** — Konfigurationsdokument (z. B. AGENTS.md), das Struktur, Konventionen und Workflows definiert
|
|
|
|
## Vorgänge
|
|
|
|
### Aufnahme-Workflow
|
|
1. Benutzer legt neue Quelle in Rohdatensammlung ab
|
|
2. LLM liest die Quelle
|
|
3. LLM diskutiert wichtige Erkenntnisse mit Benutzer
|
|
4. LLM schreibt Zusammenfassungsseite im Wiki
|
|
5. LLM aktualisiert relevante Entity- und Concept-Seiten im gesamten Wiki
|
|
6. LLM aktualisiert index.md
|
|
7. LLM fügt Eintrag zu log.md hinzu
|
|
|
|
**Ergebnis**: Eine einzelne Quelle könnte 10-15 Wiki-Seiten berühren.
|
|
|
|
### Abfrage-Workflow
|
|
1. Benutzer stellt eine Frage
|
|
2. LLM durchsucht index.md nach relevanten Seiten
|
|
3. LLM liest relevante Entity- und Concept-Seiten
|
|
4. LLM folgt Cross-References zu verwandten Seiten
|
|
5. LLM synthetisiert Antwort mit Zitaten
|
|
6. Wertvolle Antworten werden als neue Wiki-Seiten eingereicht
|
|
|
|
### Lint-Workflow
|
|
Periodische Gesundheitsprüfung zu:
|
|
- Widersprüche zwischen Seiten finden
|
|
- Veraltete Aussagen identifizieren
|
|
- Verwaiste Seiten lokalisieren
|
|
- Fehlende Seiten finden
|
|
- Fehlende Cross-References identifizieren
|
|
- Verbesserungen vorschlagen
|
|
|
|
## Schlüsselkomponenten
|
|
|
|
### Indizierung und Protokollierung
|
|
- **index.md**: Inhaltsgerichteter Katalog, nach Kategorie organisiert. Einstiegspunkt des LLM zum Finden relevanter Seiten.
|
|
- **log.md**: Chronologischer Append-Only-Datensatz aller Vorgänge.
|
|
|
|
### Seitentypen
|
|
- **Source-Seiten**: Zusammenfassungen aufgenommener Quellen
|
|
- **Entity-Seiten**: Projekte, Systeme, Tools, Technologien, Menschen
|
|
- **Concept-Seiten**: Architekturen, Muster, Protokolle, Workflows, Entscheidungen, Probleme
|
|
- **Vergleichs-Seiten**: Nebeneinander-Analyse von Entities
|
|
|
|
## Rollen
|
|
|
|
### Menschliche Verantwortungen
|
|
- Quellen kuratieren (Qualitätsdokumente finden und auswählen)
|
|
- Die Analyse leiten (LLM anleiten, worauf zu betonen ist)
|
|
- Gute Fragen stellen (Wissenssynthese vorantreiben)
|
|
- Über die Bedeutung nachdenken (synthetisiertes Wissen interpretieren)
|
|
|
|
### LLM-Verantwortungen
|
|
- Schlüsselinformationen aus Quellen lesen und extrahieren
|
|
- Alle Wiki-Inhalte schreiben und verwalten
|
|
- Cross-References erstellen und aktualisieren
|
|
- Konsistenz über Seiten aufrechterhalten
|
|
- Widersprüche und Lücken markieren
|
|
- Buchführung durchführen (Ablage, Index-Aktualisierung, Protokollierung)
|
|
|
|
## Wann zu verwenden
|
|
|
|
- Personal Knowledge Management im Laufe der Zeit
|
|
- Tiefe Forschung zu einem Thema (Wochen oder Monate)
|
|
- Bücher mit vielen Cross-References lesen
|
|
- Geschäfts-/Team-interne Dokumentation
|
|
- Konkurrenzanalyse, Due Diligence
|
|
- Reiseplanung, Kursnotizen, Hobby-Tieftauchgänge
|
|
- Jede Domäne, in der Wissen angesammelt und organisiert werden soll
|
|
|
|
## Wann NICHT zu verwenden
|
|
|
|
- Einfache, einmalige Fragen (traditionelles RAG reicht aus)
|
|
- Notwendigkeit von Echtzeit-Updates aus Live-Datenquellen
|
|
- Domänen, in denen strukturierte Abfrage (SQL) angemessener ist
|
|
- Wenn der Overhead der Wiki-Wartung den Vorteil überwiegt
|
|
|
|
## Verwandte Concepts
|
|
|
|
- [[RAG]]: Der traditionelle Ansatz, den dieses Muster verbessert
|
|
- [[Knowledge Compounding]]: Die Auswirkung des Aufbaus von Wissen auf sich selbst
|
|
- [[Three-Layer Architecture]]: Die architektonische Grundlage
|
|
- [[Memex]]: Vannevar Bushs 1945er Vision, die dieses Muster inspirierte
|
|
|
|
## Beispiele
|
|
|
|
- **Persönlich**: Ziele, Gesundheit, Psychologie, Selbstverbesserung verfolgen
|
|
- **Forschung**: Tiefer in ein Thema eintauchen, Papiere lesen, umfassendes Wiki aufbauen
|
|
- **Lesen**: Jedes Kapitel ablegen, Seiten für Charaktere, Themen, Handlungsfäden erstellen
|
|
- **Geschäft**: Internes Wiki mit Slack-Threads, Meetingtransskripten, Projektdokumenten gefüttert
|
|
- **Fan-Wikis**: Wie [[Tolkien Gateway]] — Tausende verlinkter Seiten
|
|
|
|
## Tools
|
|
|
|
- [[Obsidian]]: Die IDE zum Durchsuchen von Wiki-Inhalten
|
|
- [[qmd]]: Optionale Suchmaschine für größere Wikis
|
|
- [[Marp]]: Zum Erstellen von Präsentationen aus Wiki-Inhalten
|
|
- [[Dataview]]: Für dynamische Tabellen und Listen
|
|
- [[Obsidian Web Clipper]]: Zum schnellen Aufnehmen von Quellen in die Rohdatensammlung
|
|
|
|
## Historie
|
|
|
|
- [1945] - Vannevar Bush schlägt [[Memex]]-Konzept vor
|
|
- [2023-2024] - LLM-Agenten werden fähig genug, das Muster zu implementieren
|
|
- [2026-07-26] - Concept-Seite erstellt; dieses Wiki implementiert das Muster
|
|
|
|
## Siehe auch
|
|
|
|
- [[Three-Layer Architecture]]
|
|
- [[Knowledge Compounding]]
|
|
- [[RAG]]
|
|
- [[Memex]]
|
|
- [[Vannevar Bush]]
|
|
- [[Obsidian]]
|
|
|