torben
18ae28f918
Chemenu kompiliert Rohnotizen zu einem verlinkten, quellengebundenen Wiki: raw/ -> types/ + tools/ -> kb/ -> reports/. Was mechanisch ist, macht tools/wikitool; was Urteil braucht, macht ein Agent unter Contracts, deren Grenzen in Code durchgesetzt sind statt im Prompt. Dieser Commit ist der Startpunkt der oeffentlichen Historie. Die vorherige Entwicklung fand in einer privaten Instanz statt und ist nicht Teil dieses Repositorys; ihre Erzaehlung steht vollstaendig in CHANGES.md, das mit 44 Eintraegen von 0.1.0 bis 2.1.0 erhalten geblieben ist. Der mitgelieferte Korpus ist ein Testbett und eine Demo: 170 Seiten ueber den Stack selbst - Gates, Lint, Versionierung, Suche, das Wiki-Muster. Er dokumentiert das Werkzeug mit den eigenen Mitteln des Werkzeugs. Lizenz: AGPL-3.0 fuer den Stack (tools/, types/), CC-BY-4.0 fuer die Inhalte. Die Grenze zwischen beiden ist der Dateiplan, den dist export berechnet - siehe NOTICE.
5.3 KiB
5.3 KiB
type, concept_type, tags, created, modified, related, sources, confidence, confidence_base, provenance, summary
| type | concept_type | tags | created | modified | related | sources | confidence | confidence_base | provenance | summary | ||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| types/concept.md | workflow |
|
2026-07-26 | 2026-08-29 |
|
|
0.90 | 0.90 | sourced | Automatische Qualitätssicherung für Wikis mit Inhaltsbewertung, Selbstheilung und Widerspruchserkennung. |
Quality and Self-Correction
Typ: Workflow (Knowledge Quality Management)
Definition
Quality and Self-Correction ist ein Satz von Mechanismen, die sicherstellen, dass das Wiki hohe Qualität beibehält und Probleme automatisch behebt. Das ursprüngliche Pattern erwähnt das Kennzeichnen von Widersprüchen bei Lint; v2 erweitert dies auf automatische Qualitätsbewertung und Selbstheilung.
Kernpunkte
Das Problem
Ohne Qualitätskontrollen:
- Von LLM generierte Inhalte können inkonsistent oder von niedriger Qualität sein
- Widersprüche bleiben ohne Lösung bestehen
- Verwaiste Seiten sammeln sich an
- Querverweise brechen
- Wiki-Qualität verschlechtert sich im Laufe der Zeit
Die Lösung: Drei Mechanismen
1. Alles bewerten Jeder Inhaltsteil, den das LLM schreibt, erhält eine Qualitätsbewertung basierend auf:
| Kriterium | Gewicht | Beschreibung |
|---|---|---|
| Struktur | 0-0.3 | Gut organisiert, klare Abschnitte, ordnungsgemäße Formatierung |
| Quellenangabe | 0-0.3 | Aussagen sind ordnungsgemäß belegt und zugeordnet |
| Konsistenz | 0-0.2 | Konsistent mit Rest des Wiki, keine Widersprüche |
| Vollständigkeit | 0-0.2 | Behandelt das Thema angemessen |
Bewertungsansatz:
- Selbstbewertung: LLM bewertet seine eigene Ausgabe anhand der Kriterien
- Zweiter Durchgang: Ein anderer Prompt oder ein anderes Modell bewertet den Inhalt
- Schwellenwert: Inhalte unter dem Schwellenwert (z. B. 0,6) werden zur Überprüfung gekennzeichnet oder neu geschrieben
2. Selbstheilung Die Lint-Operation sollte mehr tun als nur zu suggerieren - sie sollte automatisch reparieren, was sie kann:
| Problem | Automatische Reparatur |
|---|---|
| Verwaiste Seiten | Auf verwandte Seiten verlinken oder zur Überprüfung kennzeichnen |
| Veraltete Aussagen | Mit "stale"-Tag markieren, Konfidenz reduzieren |
| Unterbrochene Querverweise | Links reparieren oder zur menschlichen Überprüfung kennzeichnen |
| Fehlende Metadaten | Standardmetadaten hinzufügen |
| Formatierungsprobleme | Auto-Format zu Wiki-Standards |
Implementierung: Selbstheilung nach Plan ausführen oder durch Memory-Schreibereignisse ausgelöst.
3. Widerspruchsauflösung Das Original erwähnt das Kennzeichnen von Widersprüchen. v2 fügt automatische Auflösung hinzu:
Auflösungsalgorithmus:
- Widersprüchliche Aussagen identifizieren
- Konfidenzwerte für jeden berechnen (siehe Confidence Scoring)
- Vergleich basierend auf:
- Aktualität: Neuere Aussage bevorzugt
- Autorität: Höherwertige Quelle bevorzugt
- Bestätigung: Mehr unterstützende Beobachtungen bevorzugt
- Standardaktion: Höherwertige Aussage gewinnt
- Manuelle Anpassung: Benutzer kann bei Bedarf manuell anpassen
Beispiel:
- Aussage A: "Port ist 1234" (Konfidenz: 0,8, von 2026-06-01, 2 Quellen)
- Aussage B: "Port ist 1235" (Konfidenz: 0,9, von 2026-07-20, 3 Quellen)
- Auflösung: Aussage B gewinnt, Aussage A als ersetzt markiert
Implementierung
Basierend auf Agent Memory und Event-Driven Automation:
- Bei Inhaltserstellung: Qualitätsbewertung berechnen
- Wenn Bewertung < Schwellenwert: Zur Überprüfung kennzeichnen oder auto-umschreiben
- Nach Plan: Selbstheilungsdurchläufe durchführen
- Bei Widerspruchserkennung: Widerspruchsauflösung auslösen
- Bei manueller Anpassung: Anpassungsgrund für Prüfung protokollieren
Vorteile
- Konsistenz: Automatische Durchsetzung von Qualitätsstandards
- Zuverlässigkeit: Wiki neigt zur Gesundheit von selbst
- Vertrauen: Benutzer können sich auf Wiki-Genauigkeit verlassen
- Skalierbarkeit: Qualität ohne proportionalen menschlichen Aufwand aufrechterhalten
- Nachverfolgbarkeit: Alle automatisierten Änderungen werden protokolliert
Wann zu verwenden
- Jedes Wiki mit erwarteter von LLM generierter Inhalte
- Multi-Autor- oder Multi-Agent-Wikis
- Große oder wachsende Knowledge Bases
- Situationen, in denen Inhaltsqualität kritisch ist
Wann NICHT zu verwenden
- Vollständig von Menschen kuratierte Wikis
- Situationen, in denen automatisierte Änderungen nicht akzeptabel sind
- Sehr kleine Wikis, bei denen manuelle Überprüfung möglich ist
Verwandte Concepts
- LLM Wiki Pattern - Gesamtmuster
- Memory Lifecycle - Ergänzende Knowledge Management
- Confidence Scoring - Für Aussage-Level-Konfidenz
- Event-Driven Automation - Für Auslösen von Qualitätsprüfungen
- Lint Workflow - Die Gesundheitsprüfungsoperation
- Agent Memory - Produktionsimplementierung
Siehe auch
- Supersession (zum Handhaben aufgelöster Widersprüche)
- Audit Trail (zum Verfolgung von Qualitätsmaßnahmen)
- Self-Healing (der automatische Reparaturmechanismus)
- Contradiction Resolution (der Entscheidungsprozess)