a35c94e2d9
Files changed: - kb/concepts/Ambient Environment Dependency.md - kb/concepts/Anti-Cramming Heuristic.md - kb/concepts/Audit Trail.md - kb/concepts/BM25.md - kb/concepts/Bulk Operations.md - kb/concepts/CI Integration.md - kb/concepts/CPPC.md - kb/concepts/Checkpoint Audit.md - kb/concepts/Claude Code Auto Mode.md - kb/concepts/Command Round-Trip Integrity.md - kb/concepts/Confidence Scoring.md - kb/concepts/Consolidation Tiers.md - kb/concepts/Content Quality Control.md - kb/concepts/Context Isolation.md - kb/concepts/Contradiction Resolution.md - kb/concepts/Cross-platform Agent Skills.md - kb/concepts/Crystallization.md - kb/concepts/Delete Rather Than Anonymize.md - kb/concepts/Denylist over Allowlist.md - kb/concepts/Detect-Repair Asymmetry.md - kb/concepts/Diff-Reviewable Agent Edits.md - kb/concepts/Dual Licensing by File Plan.md - kb/concepts/Entity Extraction.md - kb/concepts/Episodic Memory.md - kb/concepts/Event-Driven Automation.md - kb/concepts/Filter on Ingest.md - kb/concepts/Forgetting.md - kb/concepts/Graph Traversal.md - kb/concepts/Green Suite Blind Spot.md - kb/concepts/Hooks.md - kb/concepts/Hybrid Search.md - kb/concepts/Implementation Spectrum.md - kb/concepts/Index Scaling.md - kb/concepts/Issue Label Scheme.md - kb/concepts/Iteration and Cost Limits.md - kb/concepts/KB Migration.md - kb/concepts/KB Stack Versioning.md - kb/concepts/Knowledge Compounding.md - kb/concepts/Knowledge Graph.md - kb/concepts/LLM Wiki Pattern.md - kb/concepts/Lint Workflow.md - kb/concepts/MCP-Leseserver.md - kb/concepts/Mass-Update Gate.md - kb/concepts/Memory Lifecycle.md - kb/concepts/Mesh Sync.md - kb/concepts/Modbus.md - kb/concepts/Multi-Agent Collaboration.md - kb/concepts/Naming Convention Conflict.md - kb/concepts/OKF Compatibility.md - kb/concepts/Optional Instance Context File.md - kb/concepts/Personalization Plane.md - kb/concepts/Privacy and Governance.md - kb/concepts/Procedural Memory.md - kb/concepts/Publish-Remote Gate.md - kb/concepts/Quality Scoring.md - kb/concepts/Quality and Self-Correction.md - kb/concepts/RAG.md - kb/concepts/Reciprocal Rank Fusion.md - kb/concepts/SSD TRIM.md - kb/concepts/Scale Ceiling.md - kb/concepts/Self-Healing.md - kb/concepts/Semantic Lint Automation.md - kb/concepts/Semantic Memory.md - kb/concepts/Session Orientation.md - kb/concepts/Shared vs Private.md - kb/concepts/Split Merge Reclassify.md - kb/concepts/Split Threshold.md - kb/concepts/Structural Enforcement over Documented Rule.md - kb/concepts/Stub Threshold.md - kb/concepts/Supersession.md - kb/concepts/Three-Layer Architecture.md - kb/concepts/Token Economics.md - kb/concepts/Typed Relationships.md - kb/concepts/User Management.md - kb/concepts/Vector Search.md - kb/concepts/Work Coordination.md - kb/concepts/Workflow Extraction.md - kb/concepts/Workflow Orchestration.md - kb/concepts/Working Memory.md - kb/concepts/Write-Once Frontmatter Fields.md - kb/log.md - work/link-taxonomy-migration/glossary.md
136 lines
5.3 KiB
Markdown
136 lines
5.3 KiB
Markdown
---
|
|
type: types/concept.md
|
|
concept_type: workflow
|
|
tags: [quality, scoring, self-healing, contradiction, knowledge-management]
|
|
created: 2026-07-26
|
|
modified: 2026-08-29
|
|
related:
|
|
- exemplifies: LLM Wiki Pattern
|
|
- see-also: Memory Lifecycle
|
|
- rests-on: Event-Driven Automation
|
|
- rests-on: Confidence Scoring
|
|
sources: [Source - LLM Wiki v2]
|
|
confidence: 0.90
|
|
confidence_base: 0.90
|
|
provenance: sourced
|
|
summary: Automatische Qualitätssicherung für Wikis mit Inhaltsbewertung, Selbstheilung und Widerspruchserkennung.
|
|
---
|
|
# Quality and Self-Correction
|
|
|
|
**Typ:** Workflow (Knowledge Quality Management)
|
|
|
|
## Definition
|
|
|
|
Quality and Self-Correction ist ein Satz von Mechanismen, die sicherstellen, dass das Wiki hohe Qualität beibehält und Probleme automatisch behebt. Das ursprüngliche Pattern erwähnt das Kennzeichnen von Widersprüchen bei Lint; v2 erweitert dies auf **automatische Qualitätsbewertung und Selbstheilung**.
|
|
|
|
## Kernpunkte
|
|
|
|
### Das Problem
|
|
|
|
Ohne Qualitätskontrollen:
|
|
- Von LLM generierte Inhalte können inkonsistent oder von niedriger Qualität sein
|
|
- Widersprüche bleiben ohne Lösung bestehen
|
|
- Verwaiste Seiten sammeln sich an
|
|
- Querverweise brechen
|
|
- Wiki-Qualität verschlechtert sich im Laufe der Zeit
|
|
|
|
### Die Lösung: Drei Mechanismen
|
|
|
|
**1. Alles bewerten**
|
|
Jeder Inhaltsteil, den das LLM schreibt, erhält eine **Qualitätsbewertung** basierend auf:
|
|
|
|
| Kriterium | Gewicht | Beschreibung |
|
|
|-----------|--------|-------------|
|
|
| Struktur | 0-0.3 | Gut organisiert, klare Abschnitte, ordnungsgemäße Formatierung |
|
|
| Quellenangabe | 0-0.3 | Aussagen sind ordnungsgemäß belegt und zugeordnet |
|
|
| Konsistenz | 0-0.2 | Konsistent mit Rest des Wiki, keine Widersprüche |
|
|
| Vollständigkeit | 0-0.2 | Behandelt das Thema angemessen |
|
|
|
|
**Bewertungsansatz:**
|
|
- **Selbstbewertung:** LLM bewertet seine eigene Ausgabe anhand der Kriterien
|
|
- **Zweiter Durchgang:** Ein anderer Prompt oder ein anderes Modell bewertet den Inhalt
|
|
- **Schwellenwert:** Inhalte unter dem Schwellenwert (z. B. 0,6) werden zur Überprüfung gekennzeichnet oder neu geschrieben
|
|
|
|
**2. Selbstheilung**
|
|
Die Lint-Operation sollte mehr tun als nur zu suggerieren - sie sollte **automatisch reparieren**, was sie kann:
|
|
|
|
| Problem | Automatische Reparatur |
|
|
|-------|--------------|
|
|
| Verwaiste Seiten | Auf verwandte Seiten verlinken oder zur Überprüfung kennzeichnen |
|
|
| Veraltete Aussagen | Mit "stale"-Tag markieren, Konfidenz reduzieren |
|
|
| Unterbrochene Querverweise | Links reparieren oder zur menschlichen Überprüfung kennzeichnen |
|
|
| Fehlende Metadaten | Standardmetadaten hinzufügen |
|
|
| Formatierungsprobleme | Auto-Format zu Wiki-Standards |
|
|
|
|
**Implementierung:** Selbstheilung nach Plan ausführen oder durch Memory-Schreibereignisse ausgelöst.
|
|
|
|
**3. Widerspruchsauflösung**
|
|
Das Original erwähnt das Kennzeichnen von Widersprüchen. v2 fügt **automatische Auflösung** hinzu:
|
|
|
|
**Auflösungsalgorithmus:**
|
|
1. Widersprüchliche Aussagen identifizieren
|
|
2. Konfidenzwerte für jeden berechnen (siehe [[Confidence Scoring]])
|
|
3. Vergleich basierend auf:
|
|
- **Aktualität:** Neuere Aussage bevorzugt
|
|
- **Autorität:** Höherwertige Quelle bevorzugt
|
|
- **Bestätigung:** Mehr unterstützende Beobachtungen bevorzugt
|
|
4. **Standardaktion:** Höherwertige Aussage gewinnt
|
|
5. **Manuelle Anpassung:** Benutzer kann bei Bedarf manuell anpassen
|
|
|
|
**Beispiel:**
|
|
- Aussage A: "Port ist 1234" (Konfidenz: 0,8, von 2026-06-01, 2 Quellen)
|
|
- Aussage B: "Port ist 1235" (Konfidenz: 0,9, von 2026-07-20, 3 Quellen)
|
|
- **Auflösung:** Aussage B gewinnt, Aussage A als ersetzt markiert
|
|
|
|
## Implementierung
|
|
|
|
Basierend auf [[Agent Memory]] und [[Event-Driven Automation]]:
|
|
|
|
1. **Bei Inhaltserstellung:** Qualitätsbewertung berechnen
|
|
2. **Wenn Bewertung < Schwellenwert:** Zur Überprüfung kennzeichnen oder auto-umschreiben
|
|
3. **Nach Plan:** Selbstheilungsdurchläufe durchführen
|
|
4. **Bei Widerspruchserkennung:** Widerspruchsauflösung auslösen
|
|
5. **Bei manueller Anpassung:** Anpassungsgrund für Prüfung protokollieren
|
|
|
|
## Vorteile
|
|
|
|
- **Konsistenz:** Automatische Durchsetzung von Qualitätsstandards
|
|
- **Zuverlässigkeit:** Wiki neigt zur Gesundheit von selbst
|
|
- **Vertrauen:** Benutzer können sich auf Wiki-Genauigkeit verlassen
|
|
- **Skalierbarkeit:** Qualität ohne proportionalen menschlichen Aufwand aufrechterhalten
|
|
- **Nachverfolgbarkeit:** Alle automatisierten Änderungen werden protokolliert
|
|
|
|
## Wann zu verwenden
|
|
|
|
- Jedes Wiki mit erwarteter von LLM generierter Inhalte
|
|
- Multi-Autor- oder Multi-Agent-Wikis
|
|
- Große oder wachsende Knowledge Bases
|
|
- Situationen, in denen Inhaltsqualität kritisch ist
|
|
|
|
## Wann NICHT zu verwenden
|
|
|
|
- Vollständig von Menschen kuratierte Wikis
|
|
- Situationen, in denen automatisierte Änderungen nicht akzeptabel sind
|
|
- Sehr kleine Wikis, bei denen manuelle Überprüfung möglich ist
|
|
|
|
## Verwandte Concepts
|
|
|
|
- [[Lint Workflow]] - Die Gesundheitsprüfungsoperation
|
|
- [[Agent Memory]] - Produktionsimplementierung
|
|
|
|
## Siehe auch
|
|
|
|
- [[Supersession]] (zum Handhaben aufgelöster Widersprüche)
|
|
- [[Audit Trail]] (zum Verfolgung von Qualitätsmaßnahmen)
|
|
- [[Self-Healing]] (der automatische Reparaturmechanismus)
|
|
- [[Contradiction Resolution]] (der Entscheidungsprozess)
|
|
|
|
<!-- wikitool:links -->
|
|
## Beziehungen
|
|
|
|
- **exemplifies:** [[LLM Wiki Pattern]]
|
|
- **see-also:** [[Memory Lifecycle]]
|
|
- **rests-on:** [[Event-Driven Automation]]
|
|
- **rests-on:** [[Confidence Scoring]]
|
|
<!-- /wikitool:links -->
|