chemenu/kb/concepts/Quality and Self-Correction.md

type, concept_type, tags, created, modified, related, sources, confidence, confidence_base, provenance, summary

type	concept_type	tags	created	modified	related	sources	confidence	confidence_base	provenance	summary
types/concept.md	workflow	quality scoring self-healing contradiction knowledge-management	2026-07-26	2026-08-29	exemplifies LLM Wiki Pattern see-also Memory Lifecycle rests-on Event-Driven Automation rests-on Confidence Scoring	Source - LLM Wiki v2	0.90	0.90	sourced	Automatische Qualitätssicherung für Wikis mit Inhaltsbewertung, Selbstheilung und Widerspruchserkennung.

Quality and Self-Correction

Typ: Workflow (Knowledge Quality Management)

Definition

Quality and Self-Correction ist ein Satz von Mechanismen, die sicherstellen, dass das Wiki hohe Qualität beibehält und Probleme automatisch behebt. Das ursprüngliche Pattern erwähnt das Kennzeichnen von Widersprüchen bei Lint; v2 erweitert dies auf automatische Qualitätsbewertung und Selbstheilung.

Kernpunkte

Das Problem

Ohne Qualitätskontrollen:

• Von LLM generierte Inhalte können inkonsistent oder von niedriger Qualität sein
• Widersprüche bleiben ohne Lösung bestehen
• Verwaiste Seiten sammeln sich an
• Querverweise brechen
• Wiki-Qualität verschlechtert sich im Laufe der Zeit

Die Lösung: Drei Mechanismen

1. Alles bewerten Jeder Inhaltsteil, den das LLM schreibt, erhält eine Qualitätsbewertung basierend auf:

Kriterium	Gewicht	Beschreibung
Struktur	0-0.3	Gut organisiert, klare Abschnitte, ordnungsgemäße Formatierung
Quellenangabe	0-0.3	Aussagen sind ordnungsgemäß belegt und zugeordnet
Konsistenz	0-0.2	Konsistent mit Rest des Wiki, keine Widersprüche
Vollständigkeit	0-0.2	Behandelt das Thema angemessen

Bewertungsansatz:

• Selbstbewertung: LLM bewertet seine eigene Ausgabe anhand der Kriterien
• Zweiter Durchgang: Ein anderer Prompt oder ein anderes Modell bewertet den Inhalt
• Schwellenwert: Inhalte unter dem Schwellenwert (z. B. 0,6) werden zur Überprüfung gekennzeichnet oder neu geschrieben

2. Selbstheilung Die Lint-Operation sollte mehr tun als nur zu suggerieren - sie sollte automatisch reparieren, was sie kann:

Problem	Automatische Reparatur
Verwaiste Seiten	Auf verwandte Seiten verlinken oder zur Überprüfung kennzeichnen
Veraltete Aussagen	Mit "stale"-Tag markieren, Konfidenz reduzieren
Unterbrochene Querverweise	Links reparieren oder zur menschlichen Überprüfung kennzeichnen
Fehlende Metadaten	Standardmetadaten hinzufügen
Formatierungsprobleme	Auto-Format zu Wiki-Standards

Implementierung: Selbstheilung nach Plan ausführen oder durch Memory-Schreibereignisse ausgelöst.

3. Widerspruchsauflösung Das Original erwähnt das Kennzeichnen von Widersprüchen. v2 fügt automatische Auflösung hinzu:

Auflösungsalgorithmus:

1. Widersprüchliche Aussagen identifizieren
2. Konfidenzwerte für jeden berechnen (siehe Confidence Scoring)
3. Vergleich basierend auf:
   • Aktualität: Neuere Aussage bevorzugt
   • Autorität: Höherwertige Quelle bevorzugt
   • Bestätigung: Mehr unterstützende Beobachtungen bevorzugt
4. Standardaktion: Höherwertige Aussage gewinnt
5. Manuelle Anpassung: Benutzer kann bei Bedarf manuell anpassen

Beispiel:

• Aussage A: "Port ist 1234" (Konfidenz: 0,8, von 2026-06-01, 2 Quellen)
• Aussage B: "Port ist 1235" (Konfidenz: 0,9, von 2026-07-20, 3 Quellen)
• Auflösung: Aussage B gewinnt, Aussage A als ersetzt markiert

Implementierung

Basierend auf Agent Memory und Event-Driven Automation:

1. Bei Inhaltserstellung: Qualitätsbewertung berechnen
2. Wenn Bewertung < Schwellenwert: Zur Überprüfung kennzeichnen oder auto-umschreiben
3. Nach Plan: Selbstheilungsdurchläufe durchführen
4. Bei Widerspruchserkennung: Widerspruchsauflösung auslösen
5. Bei manueller Anpassung: Anpassungsgrund für Prüfung protokollieren

Vorteile

• Konsistenz: Automatische Durchsetzung von Qualitätsstandards
• Zuverlässigkeit: Wiki neigt zur Gesundheit von selbst
• Vertrauen: Benutzer können sich auf Wiki-Genauigkeit verlassen
• Skalierbarkeit: Qualität ohne proportionalen menschlichen Aufwand aufrechterhalten
• Nachverfolgbarkeit: Alle automatisierten Änderungen werden protokolliert

Wann zu verwenden

• Jedes Wiki mit erwarteter von LLM generierter Inhalte
• Multi-Autor- oder Multi-Agent-Wikis
• Große oder wachsende Knowledge Bases
• Situationen, in denen Inhaltsqualität kritisch ist

Wann NICHT zu verwenden

• Vollständig von Menschen kuratierte Wikis
• Situationen, in denen automatisierte Änderungen nicht akzeptabel sind
• Sehr kleine Wikis, bei denen manuelle Überprüfung möglich ist

Verwandte Concepts

• Lint Workflow - Die Gesundheitsprüfungsoperation
• Agent Memory - Produktionsimplementierung

Siehe auch

• Supersession (zum Handhaben aufgelöster Widersprüche)
• Audit Trail (zum Verfolgung von Qualitätsmaßnahmen)
• Self-Healing (der automatische Reparaturmechanismus)
• Contradiction Resolution (der Entscheidungsprozess)

Beziehungen

• exemplifies: LLM Wiki Pattern
• see-also: Memory Lifecycle
• rests-on: Event-Driven Automation
• rests-on: Confidence Scoring