--- type: types/concept.md concept_type: workflow tags: [quality, scoring, self-healing, contradiction, knowledge-management] created: 2026-07-26 modified: 2026-08-29 related: - exemplifies: LLM Wiki Pattern - see-also: Memory Lifecycle - rests-on: Event-Driven Automation - rests-on: Confidence Scoring sources: [Source - LLM Wiki v2] provenance: sourced summary: Automatische Qualitätssicherung für Wikis mit Inhaltsbewertung, Selbstheilung und Widerspruchserkennung. --- # Quality and Self-Correction **Typ:** Workflow (Knowledge Quality Management) ## Definition Quality and Self-Correction ist ein Satz von Mechanismen, die sicherstellen, dass das Wiki hohe Qualität beibehält und Probleme automatisch behebt. Das ursprüngliche Pattern erwähnt das Kennzeichnen von Widersprüchen bei Lint; v2 erweitert dies auf **automatische Qualitätsbewertung und Selbstheilung**. ## Kernpunkte ### Das Problem Ohne Qualitätskontrollen: - Von LLM generierte Inhalte können inkonsistent oder von niedriger Qualität sein - Widersprüche bleiben ohne Lösung bestehen - Verwaiste Seiten sammeln sich an - Querverweise brechen - Wiki-Qualität verschlechtert sich im Laufe der Zeit ### Die Lösung: Drei Mechanismen **1. Alles bewerten** Jeder Inhaltsteil, den das LLM schreibt, erhält eine **Qualitätsbewertung** basierend auf: | Kriterium | Gewicht | Beschreibung | |-----------|--------|-------------| | Struktur | 0-0.3 | Gut organisiert, klare Abschnitte, ordnungsgemäße Formatierung | | Quellenangabe | 0-0.3 | Aussagen sind ordnungsgemäß belegt und zugeordnet | | Konsistenz | 0-0.2 | Konsistent mit Rest des Wiki, keine Widersprüche | | Vollständigkeit | 0-0.2 | Behandelt das Thema angemessen | **Bewertungsansatz:** - **Selbstbewertung:** LLM bewertet seine eigene Ausgabe anhand der Kriterien - **Zweiter Durchgang:** Ein anderer Prompt oder ein anderes Modell bewertet den Inhalt - **Schwellenwert:** Inhalte unter dem Schwellenwert (z. B. 0,6) werden zur Überprüfung gekennzeichnet oder neu geschrieben **2. Selbstheilung** Die Lint-Operation sollte mehr tun als nur zu suggerieren - sie sollte **automatisch reparieren**, was sie kann: | Problem | Automatische Reparatur | |-------|--------------| | Verwaiste Seiten | Auf verwandte Seiten verlinken oder zur Überprüfung kennzeichnen | | Veraltete Aussagen | Mit "stale"-Tag markieren, Konfidenz reduzieren | | Unterbrochene Querverweise | Links reparieren oder zur menschlichen Überprüfung kennzeichnen | | Fehlende Metadaten | Standardmetadaten hinzufügen | | Formatierungsprobleme | Auto-Format zu Wiki-Standards | **Implementierung:** Selbstheilung nach Plan ausführen oder durch Memory-Schreibereignisse ausgelöst. **3. Widerspruchsauflösung** Das Original erwähnt das Kennzeichnen von Widersprüchen. v2 fügt **automatische Auflösung** hinzu: **Auflösungsalgorithmus:** 1. Widersprüchliche Aussagen identifizieren 2. Konfidenzwerte für jeden berechnen (siehe [[Confidence Scoring]]) 3. Vergleich basierend auf: - **Aktualität:** Neuere Aussage bevorzugt - **Autorität:** Höherwertige Quelle bevorzugt - **Bestätigung:** Mehr unterstützende Beobachtungen bevorzugt 4. **Standardaktion:** Höherwertige Aussage gewinnt 5. **Manuelle Anpassung:** Benutzer kann bei Bedarf manuell anpassen **Beispiel:** - Aussage A: "Port ist 1234" (Konfidenz: 0,8, von 2026-06-01, 2 Quellen) - Aussage B: "Port ist 1235" (Konfidenz: 0,9, von 2026-07-20, 3 Quellen) - **Auflösung:** Aussage B gewinnt, Aussage A als ersetzt markiert ## Implementierung Basierend auf [[Agent Memory]] und [[Event-Driven Automation]]: 1. **Bei Inhaltserstellung:** Qualitätsbewertung berechnen 2. **Wenn Bewertung < Schwellenwert:** Zur Überprüfung kennzeichnen oder auto-umschreiben 3. **Nach Plan:** Selbstheilungsdurchläufe durchführen 4. **Bei Widerspruchserkennung:** Widerspruchsauflösung auslösen 5. **Bei manueller Anpassung:** Anpassungsgrund für Prüfung protokollieren ## Vorteile - **Konsistenz:** Automatische Durchsetzung von Qualitätsstandards - **Zuverlässigkeit:** Wiki neigt zur Gesundheit von selbst - **Vertrauen:** Benutzer können sich auf Wiki-Genauigkeit verlassen - **Skalierbarkeit:** Qualität ohne proportionalen menschlichen Aufwand aufrechterhalten - **Nachverfolgbarkeit:** Alle automatisierten Änderungen werden protokolliert ## Wann zu verwenden - Jedes Wiki mit erwarteter von LLM generierter Inhalte - Multi-Autor- oder Multi-Agent-Wikis - Große oder wachsende Knowledge Bases - Situationen, in denen Inhaltsqualität kritisch ist ## Wann NICHT zu verwenden - Vollständig von Menschen kuratierte Wikis - Situationen, in denen automatisierte Änderungen nicht akzeptabel sind - Sehr kleine Wikis, bei denen manuelle Überprüfung möglich ist ## Verwandte Concepts - [[Lint Workflow]] - Die Gesundheitsprüfungsoperation - [[Agent Memory]] - Produktionsimplementierung ## Siehe auch - [[Supersession]] (zum Handhaben aufgelöster Widersprüche) - [[Audit Trail]] (zum Verfolgung von Qualitätsmaßnahmen) - [[Self-Healing]] (der automatische Reparaturmechanismus) - [[Contradiction Resolution]] (der Entscheidungsprozess) ## Beziehungen - **exemplifies:** [[LLM Wiki Pattern]] - **see-also:** [[Memory Lifecycle]] - **rests-on:** [[Event-Driven Automation]] - **rests-on:** [[Confidence Scoring]]