Chemenu 2.1.0 - deterministischer Wissenskompiler
Chemenu kompiliert Rohnotizen zu einem verlinkten, quellengebundenen Wiki: raw/ -> types/ + tools/ -> kb/ -> reports/. Was mechanisch ist, macht tools/wikitool; was Urteil braucht, macht ein Agent unter Contracts, deren Grenzen in Code durchgesetzt sind statt im Prompt. Dieser Commit ist der Startpunkt der oeffentlichen Historie. Die vorherige Entwicklung fand in einer privaten Instanz statt und ist nicht Teil dieses Repositorys; ihre Erzaehlung steht vollstaendig in CHANGES.md, das mit 44 Eintraegen von 0.1.0 bis 2.1.0 erhalten geblieben ist. Der mitgelieferte Korpus ist ein Testbett und eine Demo: 170 Seiten ueber den Stack selbst - Gates, Lint, Versionierung, Suche, das Wiki-Muster. Er dokumentiert das Werkzeug mit den eigenen Mitteln des Werkzeugs. Lizenz: AGPL-3.0 fuer den Stack (tools/, types/), CC-BY-4.0 fuer die Inhalte. Die Grenze zwischen beiden ist der Dateiplan, den dist export berechnet - siehe NOTICE.
This commit is contained in:
@@ -0,0 +1,127 @@
|
||||
---
|
||||
type: types/concept.md
|
||||
concept_type: workflow
|
||||
tags: [quality, scoring, self-healing, contradiction, knowledge-management]
|
||||
created: 2026-07-26
|
||||
modified: 2026-08-29
|
||||
related: [LLM Wiki Pattern, Memory Lifecycle, Event-Driven Automation, Confidence Scoring]
|
||||
sources: [Source - LLM Wiki v2]
|
||||
confidence: 0.90
|
||||
confidence_base: 0.90
|
||||
provenance: sourced
|
||||
summary: Automatische Qualitätssicherung für Wikis mit Inhaltsbewertung, Selbstheilung und Widerspruchserkennung.
|
||||
---
|
||||
# Quality and Self-Correction
|
||||
|
||||
**Typ:** Workflow (Knowledge Quality Management)
|
||||
|
||||
## Definition
|
||||
|
||||
Quality and Self-Correction ist ein Satz von Mechanismen, die sicherstellen, dass das Wiki hohe Qualität beibehält und Probleme automatisch behebt. Das ursprüngliche Pattern erwähnt das Kennzeichnen von Widersprüchen bei Lint; v2 erweitert dies auf **automatische Qualitätsbewertung und Selbstheilung**.
|
||||
|
||||
## Kernpunkte
|
||||
|
||||
### Das Problem
|
||||
|
||||
Ohne Qualitätskontrollen:
|
||||
- Von LLM generierte Inhalte können inkonsistent oder von niedriger Qualität sein
|
||||
- Widersprüche bleiben ohne Lösung bestehen
|
||||
- Verwaiste Seiten sammeln sich an
|
||||
- Querverweise brechen
|
||||
- Wiki-Qualität verschlechtert sich im Laufe der Zeit
|
||||
|
||||
### Die Lösung: Drei Mechanismen
|
||||
|
||||
**1. Alles bewerten**
|
||||
Jeder Inhaltsteil, den das LLM schreibt, erhält eine **Qualitätsbewertung** basierend auf:
|
||||
|
||||
| Kriterium | Gewicht | Beschreibung |
|
||||
|-----------|--------|-------------|
|
||||
| Struktur | 0-0.3 | Gut organisiert, klare Abschnitte, ordnungsgemäße Formatierung |
|
||||
| Quellenangabe | 0-0.3 | Aussagen sind ordnungsgemäß belegt und zugeordnet |
|
||||
| Konsistenz | 0-0.2 | Konsistent mit Rest des Wiki, keine Widersprüche |
|
||||
| Vollständigkeit | 0-0.2 | Behandelt das Thema angemessen |
|
||||
|
||||
**Bewertungsansatz:**
|
||||
- **Selbstbewertung:** LLM bewertet seine eigene Ausgabe anhand der Kriterien
|
||||
- **Zweiter Durchgang:** Ein anderer Prompt oder ein anderes Modell bewertet den Inhalt
|
||||
- **Schwellenwert:** Inhalte unter dem Schwellenwert (z. B. 0,6) werden zur Überprüfung gekennzeichnet oder neu geschrieben
|
||||
|
||||
**2. Selbstheilung**
|
||||
Die Lint-Operation sollte mehr tun als nur zu suggerieren - sie sollte **automatisch reparieren**, was sie kann:
|
||||
|
||||
| Problem | Automatische Reparatur |
|
||||
|-------|--------------|
|
||||
| Verwaiste Seiten | Auf verwandte Seiten verlinken oder zur Überprüfung kennzeichnen |
|
||||
| Veraltete Aussagen | Mit "stale"-Tag markieren, Konfidenz reduzieren |
|
||||
| Unterbrochene Querverweise | Links reparieren oder zur menschlichen Überprüfung kennzeichnen |
|
||||
| Fehlende Metadaten | Standardmetadaten hinzufügen |
|
||||
| Formatierungsprobleme | Auto-Format zu Wiki-Standards |
|
||||
|
||||
**Implementierung:** Selbstheilung nach Plan ausführen oder durch Memory-Schreibereignisse ausgelöst.
|
||||
|
||||
**3. Widerspruchsauflösung**
|
||||
Das Original erwähnt das Kennzeichnen von Widersprüchen. v2 fügt **automatische Auflösung** hinzu:
|
||||
|
||||
**Auflösungsalgorithmus:**
|
||||
1. Widersprüchliche Aussagen identifizieren
|
||||
2. Konfidenzwerte für jeden berechnen (siehe [[Confidence Scoring]])
|
||||
3. Vergleich basierend auf:
|
||||
- **Aktualität:** Neuere Aussage bevorzugt
|
||||
- **Autorität:** Höherwertige Quelle bevorzugt
|
||||
- **Bestätigung:** Mehr unterstützende Beobachtungen bevorzugt
|
||||
4. **Standardaktion:** Höherwertige Aussage gewinnt
|
||||
5. **Manuelle Anpassung:** Benutzer kann bei Bedarf manuell anpassen
|
||||
|
||||
**Beispiel:**
|
||||
- Aussage A: "Port ist 1234" (Konfidenz: 0,8, von 2026-06-01, 2 Quellen)
|
||||
- Aussage B: "Port ist 1235" (Konfidenz: 0,9, von 2026-07-20, 3 Quellen)
|
||||
- **Auflösung:** Aussage B gewinnt, Aussage A als ersetzt markiert
|
||||
|
||||
## Implementierung
|
||||
|
||||
Basierend auf [[Agent Memory]] und [[Event-Driven Automation]]:
|
||||
|
||||
1. **Bei Inhaltserstellung:** Qualitätsbewertung berechnen
|
||||
2. **Wenn Bewertung < Schwellenwert:** Zur Überprüfung kennzeichnen oder auto-umschreiben
|
||||
3. **Nach Plan:** Selbstheilungsdurchläufe durchführen
|
||||
4. **Bei Widerspruchserkennung:** Widerspruchsauflösung auslösen
|
||||
5. **Bei manueller Anpassung:** Anpassungsgrund für Prüfung protokollieren
|
||||
|
||||
## Vorteile
|
||||
|
||||
- **Konsistenz:** Automatische Durchsetzung von Qualitätsstandards
|
||||
- **Zuverlässigkeit:** Wiki neigt zur Gesundheit von selbst
|
||||
- **Vertrauen:** Benutzer können sich auf Wiki-Genauigkeit verlassen
|
||||
- **Skalierbarkeit:** Qualität ohne proportionalen menschlichen Aufwand aufrechterhalten
|
||||
- **Nachverfolgbarkeit:** Alle automatisierten Änderungen werden protokolliert
|
||||
|
||||
## Wann zu verwenden
|
||||
|
||||
- Jedes Wiki mit erwarteter von LLM generierter Inhalte
|
||||
- Multi-Autor- oder Multi-Agent-Wikis
|
||||
- Große oder wachsende Knowledge Bases
|
||||
- Situationen, in denen Inhaltsqualität kritisch ist
|
||||
|
||||
## Wann NICHT zu verwenden
|
||||
|
||||
- Vollständig von Menschen kuratierte Wikis
|
||||
- Situationen, in denen automatisierte Änderungen nicht akzeptabel sind
|
||||
- Sehr kleine Wikis, bei denen manuelle Überprüfung möglich ist
|
||||
|
||||
## Verwandte Concepts
|
||||
|
||||
- [[LLM Wiki Pattern]] - Gesamtmuster
|
||||
- [[Memory Lifecycle]] - Ergänzende Knowledge Management
|
||||
- [[Confidence Scoring]] - Für Aussage-Level-Konfidenz
|
||||
- [[Event-Driven Automation]] - Für Auslösen von Qualitätsprüfungen
|
||||
- [[Lint Workflow]] - Die Gesundheitsprüfungsoperation
|
||||
- [[Agent Memory]] - Produktionsimplementierung
|
||||
|
||||
## Siehe auch
|
||||
|
||||
- [[Supersession]] (zum Handhaben aufgelöster Widersprüche)
|
||||
- [[Audit Trail]] (zum Verfolgung von Qualitätsmaßnahmen)
|
||||
- [[Self-Healing]] (der automatische Reparaturmechanismus)
|
||||
- [[Contradiction Resolution]] (der Entscheidungsprozess)
|
||||
|
||||
Reference in New Issue
Block a user