torben
54d9540c08
Files changed: - .wikitool-kb.json - AGENTS.md - CHANGES.md - INSTALL-MCP.md - INSTALL.md - README.md - VERSION - instructions/capture-session.md - instructions/dev/issue-tracking.md - instructions/german-terminology.md - instructions/kb-profiles.md - instructions/migrate-corpus.md - instructions/migrations/5.0.0-confidence-removal.md - instructions/private-instance.md - instructions/setup-instance.md - instructions/wiki-lint/SKILL.md - instructions/wiki-manage/SKILL.md - instructions/wiki-query/SKILL.md - kb/CONTRACT.md - kb/CONVENTIONS.md - kb/CONVENTIONS.md.template - kb/concepts/architectures/Consolidation Tiers.md - kb/concepts/architectures/Context Isolation.md - kb/concepts/architectures/Cross-platform Agent Skills.md - kb/concepts/architectures/Episodic Memory.md - kb/concepts/architectures/Hybrid Search.md - kb/concepts/architectures/Implementation Spectrum.md - kb/concepts/architectures/Knowledge Graph.md - kb/concepts/architectures/LLM Wiki Pattern.md - kb/concepts/architectures/MCP-Leseserver.md - kb/concepts/architectures/Memory Lifecycle.md - kb/concepts/architectures/OKF Compatibility.md - kb/concepts/architectures/Optional Instance Context File.md - kb/concepts/architectures/Personalization Plane.md - kb/concepts/architectures/Procedural Memory.md - kb/concepts/architectures/RAG.md - kb/concepts/architectures/Scale Ceiling.md - kb/concepts/architectures/Semantic Memory.md - kb/concepts/architectures/Three-Layer Architecture.md - kb/concepts/architectures/Token Economics.md - kb/concepts/architectures/Working Memory.md - kb/concepts/decisions/Delete Rather Than Anonymize.md - kb/concepts/decisions/Denylist over Allowlist.md - kb/concepts/decisions/Diff-Reviewable Agent Edits.md - kb/concepts/decisions/Dual Licensing by File Plan.md - kb/concepts/decisions/Issue Label Scheme.md - kb/concepts/decisions/KB Stack Versioning.md - kb/concepts/decisions/Structural Enforcement over Documented Rule.md - kb/concepts/patterns/Audit Trail.md - kb/concepts/patterns/BM25.md - kb/concepts/patterns/Command Round-Trip Integrity.md - kb/concepts/patterns/Confidence Scoring.md - kb/concepts/patterns/Contradiction Resolution.md - kb/concepts/patterns/Entity Extraction.md - kb/concepts/patterns/Filter on Ingest.md - kb/concepts/patterns/Forgetting.md - kb/concepts/patterns/Graph Traversal.md - kb/concepts/patterns/Mesh Sync.md - kb/concepts/patterns/Quality Scoring.md - kb/concepts/patterns/Reciprocal Rank Fusion.md - kb/concepts/patterns/Self-Healing.md - kb/concepts/patterns/Shared vs Private.md - kb/concepts/patterns/Typed Relationships.md - kb/concepts/patterns/Vector Search.md - kb/concepts/patterns/Work Coordination.md - kb/concepts/problems/Ambient Environment Dependency.md - kb/concepts/problems/Detect-Repair Asymmetry.md - kb/concepts/problems/Green Suite Blind Spot.md - kb/concepts/problems/Naming Convention Conflict.md - kb/concepts/problems/Write-Once Frontmatter Fields.md - kb/concepts/protocols/CPPC.md - kb/concepts/protocols/Modbus.md - kb/concepts/protocols/SSD TRIM.md - kb/concepts/workflows/Anti-Cramming Heuristic.md - kb/concepts/workflows/Bulk Operations.md - kb/concepts/workflows/CI Integration.md - kb/concepts/workflows/Checkpoint Audit.md - kb/concepts/workflows/Claude Code Auto Mode.md - kb/concepts/workflows/Content Quality Control.md - kb/concepts/workflows/Crystallization.md - kb/concepts/workflows/Event-Driven Automation.md - kb/concepts/workflows/Hooks.md - kb/concepts/workflows/Index Scaling.md - kb/concepts/workflows/Iteration and Cost Limits.md - kb/concepts/workflows/KB Migration.md - kb/concepts/workflows/Knowledge Compounding.md - kb/concepts/workflows/Lint Workflow.md - kb/concepts/workflows/Mass-Update Gate.md - kb/concepts/workflows/Multi-Agent Collaboration.md - kb/concepts/workflows/Privacy and Governance.md - kb/concepts/workflows/Publish-Remote Gate.md - kb/concepts/workflows/Quality and Self-Correction.md - kb/concepts/workflows/Semantic Lint Automation.md - kb/concepts/workflows/Session Orientation.md - kb/concepts/workflows/Split Merge Reclassify.md - kb/concepts/workflows/Split Threshold.md - kb/concepts/workflows/Stub Threshold.md - kb/concepts/workflows/Supersession.md - kb/concepts/workflows/User Management.md - kb/concepts/workflows/Workflow Extraction.md - kb/concepts/workflows/Workflow Orchestration.md - kb/entities/people/Andrej Karpathy.md - kb/entities/people/E3DC GmbH.md - kb/entities/people/Rohit Gupta.md - kb/entities/people/Vannevar Bush.md - kb/entities/projects/BCDModule.md - kb/entities/projects/Chemenu.md - kb/entities/projects/andybalholm-edl.md - kb/entities/projects/goresponsiveness.md - kb/entities/projects/ha-core.md - kb/entities/projects/hacs-e3dc.md - kb/entities/projects/hacs-integration-blueprint.md - kb/entities/projects/llm-wiki-skills.md - kb/entities/projects/plugnburn-edl.md - kb/entities/projects/wiki-skills-vanillaflava.md - kb/entities/projects/wiki-skills.md - kb/entities/systems/AGENTS.md.md - kb/entities/systems/CLAUDE.md.md - kb/entities/systems/E3DC.md - kb/entities/systems/ENVIRONMENT.md.md - kb/entities/systems/Memex.md - kb/entities/systems/Tolkien Gateway.md - kb/entities/technologies/Arch Linux.md - kb/entities/technologies/Disk Encryption.md - kb/entities/technologies/Docker.md - kb/entities/technologies/GRUB.md - kb/entities/technologies/Gitea Actions.md - kb/entities/technologies/Gitea.md - kb/entities/technologies/Go.md - kb/entities/technologies/Home Assistant.md - kb/entities/technologies/Kernel PM Governors.md - kb/entities/technologies/LVM.md - kb/entities/technologies/Linux Kernel.md - kb/entities/technologies/MQTT.md - kb/entities/technologies/OPC UA.md - kb/entities/technologies/Python.md - kb/entities/technologies/Rust.md - kb/entities/technologies/Wine GE.md - kb/entities/technologies/Wine-Staging.md - kb/entities/technologies/acpi-cpufreq.md - kb/entities/technologies/amd-pstate.md - kb/entities/technologies/iii Engine.md - kb/entities/tools/AUR.md - kb/entities/tools/Act Runner.md - kb/entities/tools/Agent Memory.md - kb/entities/tools/Aura.md - kb/entities/tools/Bottles.md - kb/entities/tools/ChatGPT.md - kb/entities/tools/Claude Code.md - kb/entities/tools/Codex CLI.md - kb/entities/tools/Dataview.md - kb/entities/tools/GPG.md - kb/entities/tools/GitHub Copilot.md - kb/entities/tools/Gitea MCP Server.md - kb/entities/tools/Lutris.md - kb/entities/tools/Marp.md - kb/entities/tools/Mistral Vibe.md - kb/entities/tools/NotebookLM.md - kb/entities/tools/Obsidian Web Clipper.md - kb/entities/tools/Obsidian.md - kb/entities/tools/OpenAI Codex.md - kb/entities/tools/OpenCode.md - kb/entities/tools/Pi.md - kb/entities/tools/Proton.md - kb/entities/tools/Steam.md - kb/entities/tools/Wine.md - kb/entities/tools/awesome-llm-wiki.md - kb/entities/tools/farzaa gist.md - kb/entities/tools/gdeploy.md - kb/entities/tools/makepkg.md - kb/entities/tools/pascalandy schema.md - kb/entities/tools/qmd.md - kb/entities/tools/wikitool.md - kb/index.md - kb/log.md - raw/CONTRACT.md - tools/CONTRACT.md - tools/README.md - tools/chemenu/api.py - tools/chemenu/cli.py - tools/chemenu/commands/confidence_decay.py - tools/chemenu/commands/docs_verify.py - tools/chemenu/commands/doctor.py - tools/chemenu/commands/index_build.py - tools/chemenu/commands/new_page.py - tools/chemenu/commands/search.py - tools/chemenu/commands/touch.py - tools/chemenu/commands/version_cmd.py - tools/chemenu/conventions.py - tools/chemenu/corpus_diff.py - tools/chemenu/frontmatter_io.py - tools/chemenu/lint_core.py - tools/chemenu/mcp/server.py - tools/chemenu/page.py - tools/chemenu/search/base.py - tools/chemenu/search/filters.py - tools/chemenu/search/ripgrep.py - tools/chemenu/search/service.py - tools/chemenu/search/types.py - tools/chemenu/tests/conftest.py - tools/chemenu/tests/test_api.py - tools/chemenu/tests/test_confidence_decay.py - tools/chemenu/tests/test_corpus_diff.py - tools/chemenu/tests/test_docs_verify.py - tools/chemenu/tests/test_frontmatter_io.py - tools/chemenu/tests/test_index_build.py - tools/chemenu/tests/test_kb_scan.py - tools/chemenu/tests/test_lint.py - tools/chemenu/tests/test_mcp_server.py - tools/chemenu/tests/test_new_page.py - tools/chemenu/tests/test_page_ops.py - tools/chemenu/tests/test_provenance.py - tools/chemenu/tests/test_raw_cmd.py - tools/chemenu/tests/test_search.py - tools/chemenu/tests/test_touch.py - tools/chemenu/tests/test_type_resolver.py - tools/chemenu/tests/test_version_cmd.py - tools/chemenu/tests/test_xref.py - tools/chemenu/version.py - types/concept.md - types/concept.schema.yaml - types/entity.md - types/entity.schema.yaml - types/instruction.md - types/type-spec.md
4.9 KiB
4.9 KiB
type, concept_type, tags, created, modified, related, sources, provenance, summary
| type | concept_type | tags | created | modified | related | sources | provenance | summary | |||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| types/concept.md | pattern |
|
2026-07-26 | 2026-08-29 |
|
|
sourced | Mechanismus, der faktischen Aussagen quantitative Werte nach Quellenzahl, Aktualität, Qualität und Bestätigung zuweist, um gut gestütztes Wissen zu erkennen. |
Confidence Scoring
Typ: Pattern (Wissens-Zuverlässigkeitsbeurteilung)
Definition
Confidence Scoring ist ein Mechanismus zur Zuweisung einer quantitativen Konfidenz-Bewertung zu jedem faktische Aussage im Wiki, der es dem LLM ermöglicht, zwischen gut gestütztem Wissen und vorläufigen Beobachtungen zu unterscheiden. Dies ist eine Kernkomponente der Memory Lifecycle-Verwaltung.
Kernpunkte
Die Scoring-Formel
Die Konfidenz-Bewertung jedes faktischen Aussage wird berechnet aus:
| Faktor | Gewichtung | Beschreibung |
|---|---|---|
| Basis-Konfidenz | +0.5 | Standard für jeden Aussage aus einer einzigen Quelle |
| Quellenanzahl | +0.2 pro Quelle (max +0.6) | Mehr Quellen = höhere Konfidenz |
| Aktualität | +0.2 (<30 Tage), +0.1 (<90 Tage) | Aktuelle Bestätigungen erhöhen Konfidenz |
| Quellenqualität | +0.1 (Amtliche Dokumente), +0.05 (Reputabel) | Bessere Quellen = höhere Konfidenz |
| Bestätigung | +0.1 | Mehrere unabhängige Quellen stimmen überein |
| Maximum | 1.0 | Vollständige Konfidenz (selten) |
Konfidenz-Verfall
Die Konfidenz verfällt um 1% pro Monat seit der letzten Bestätigung, mit einem Minimum von 0.2.
Dies modelliert die natürliche Erosion der Wissenssicherheit im Laufe der Zeit.
Konfidenz-Schwellwerte für Sprache
Bei der Synthese von Antworten sollte der LLM Konfidenz-Bewertungen verwenden, um Aussagen zu qualifizieren:
- Konfidenz ≥ 0.6: Als Tatsache angeben („Projekt X verwendet Redis")
- 0.4 ≤ Konfidenz < 0.6: Versuchsweise Sprache verwenden („möglicherweise", „kann")
- 0.2 ≤ Konfidenz < 0.4: Als unsicher markieren („unsicher", „unbestätigt")
- Konfidenz < 0.2: Sollte nicht in Antworten verwendet werden
Implementierung
Zu verfolgbende Metadaten
Für jede Aussage speichern:
source: [list of source IDs]
source_dates: [list of dates]
last_confirmed: YYYY-MM-DD
confidence: 0.XX
quality_flags: [official, reputable, etc.]
Automation
Confidence Scoring funktioniert am besten mit Event-Driven Automation:
- Bei Quellenaufnahme: Anfängliche Konfidenz für extrahierte Aussagen berechnen
- Bei Zugriff auf Aussagen: Konfidenz erhöhen (Verstärkung)
- Bei neuer bestätigender Quelle: Konfidenz erhöhen, Quellen aktualisieren
- Bei Widerspruch: Supersession oder Contradiction Resolution auslösen
- Nach Zeitplan (monatlich): Alle Konfidenz-Scores verfallen lassen
Beispiele
Aussage: „Das CI-System verwendet BuildKit auf Port 1234"
- Quelle 1: Interne Dokumentation (Amtlich) - datiert 2026-07-01
- Quelle 2: Team-Besprechungsnotizen (Reputabel) - datiert 2026-07-15
- Zuletzt bestätigt: 2026-07-20
- Aktuelles Datum: 2026-07-26
Berechnung:
- Basis: +0.5
- Quellenanzahl (2): +0.4 (begrenzt auf +0.6, also +0.4)
- Aktualität: +0.2 (Quelle 2 < 30 Tage)
- Quellenqualität: +0.1 (Quelle 1 ist Amtlich)
- Zwischensumme: 1.2 → Begrenzt auf 1.0
- Verfall: 6 Tage seit letzter Bestätigung ≈ 0.2% Verfall
- Endgültige Konfidenz: 0.996 ≈ 0.996
Aussage: „Das CI-System verwendet BuildKit auf Port 1234." (als Tatsache angegeben)
Vorteile
- Transparenz: Benutzer wissen, wie zuverlässig jeder Aussage ist
- Priorisierung: Hochkonfidenz-Informationen erscheinen zuerst
- Vertrauen: Stärkt das Vertrauen der Benutzer in die Wiki-Genauigkeit
- Selbstkorrektur: Aussagen mit niedriger Konfidenz erhalten Aufmerksamkeit zur Überprüfung
Wann zu verwenden
- Alle faktischen Aussagen im Wiki
- Besonders wichtig für:
- Technische Spezifikationen
- Architekturentscheidungen
- Sicherheitsbezogene Informationen
- Zeitempfindliches Wissen
Wann NICHT zu verwenden
- Meinungen oder subjektive Aussagen
- Definitionen, die sich nicht ändern
- Reine deskriptive Metadaten
Verwandte Concepts
- Memory Lifecycle - Übergeordnetes Konzept
- Supersession - Umgang mit widersprochenen Aussagen
- Forgetting - Komplementärer Mechanismus für alte Aussagen
- LLM Wiki Pattern - Gesamtmuster
- Agent Memory - Produktionsimplementierung
- Quality Scoring - Komplementäre Qualitätsmetriken
Siehe auch
- Event-Driven Automation (für automatisierte Konfidenz-Updates)
- Contradiction Resolution (für Konfliktbehandlung)
- Self-Healing (für automatisierte Konfidenz-Reparatur)
Beziehungen
- part-of: Memory Lifecycle
- exemplifies: LLM Wiki Pattern