Knowledge Cardと評価

MURASAMEのKnowledgeは、LLMが一度言った文章をそのまま記憶する仕組みではありません。出所、対象範囲、Evidence、評価履歴、利用時の信頼境界を持つ共有資産です。

4つの境界

Memory

会話やユーザーごとの状態。一般化された共有知識ではない。

MURASAMEd PostgreSQLのuser scope

User Brain

端末上の個人カード。本人確認した内容だけを共有Candidateへ昇格できる。

~/.murasame/userbrain.db

Knowledge Card

組織で共有するQ&A・手順・制約・判断基準。

MURASAMEd PostgreSQL + pgvector

Verified Knowledge

Claim、Verification Spec、Run、Evidence、Experience。

既存Cardとは別の検証ライフサイクル

MemoryとCard、User Brainと共有Knowledgeを混同しないことが重要です。個人の判断を共有する場合も、本人確認と一般化を経てCandidateにし、共有評価を通します。

Cardのライフサイクル

conversation / source / harvest / User Brain promotion
  ↓
candidate（検索・注入しない）
  ↓ Evidence取得 + Evaluator / Judge
  ├─ 全員pass       → verified（通常の根拠）
  ├─ 一次資料待ち等 → reference（再確認前提）
  ├─ 判定が割れる   → disputed（人の確認）
  └─ reject         → 隔離
  ↓
embedding / lexical retrieval → 関連CardだけContextへ注入

検索対象は verified と reference です。candidate、deprecated、quarantined は通常ターンへ流しません。 referenceは強い結論として扱わず、一次ソースの再確認を促します。

EvaluatorとEvidence

自動評価

Cardの変更内容に対し、correctness、relevance、completeness、clarity、source supportなどを複数Judgeで評価します。評価結果は card_evaluations に保存し、入力HashとRubricが同じものを不要に再評価しません。

一次資料

参照URLの取得本文とHashは source_evidence に保存します。 Evidence取得に失敗した場合、LLMの自信だけでverifiedへ昇格させません。

実地検証

Verified Knowledge v1はCardを置き換えず、Claimを最小単位に分け、固定したVerification SpecをRunnerで実行します。 LLMの印象ではなく、終了コード・出力・成果物・時間制限などの決定的条件でRunを判定します。

推論時の利用

通常のdaemonターンは質問から関連Cardをlexical / embeddingで検索し、上位だけをContextへ注入します。 Codex-firstでもCard検索は既定で有効です。必要な場合だけ MURASAME_CODEX_SEARCH_CARDS=0 で停止できます。

# Cardの状態を確認する管理操作
MURASAME_ADMIN=1 murasame eval stats
MURASAME_ADMIN=1 murasame eval pending --limit 20

# User BrainからCandidateへ進める前に本人確認
murasame brain extract
murasame align
murasame brain promote <id>

Knowledge Graphとの接続

CardをGraphへ取り込むときは、Card本文をそのままGraphの確定事実にしません。 ConceptとEvidenceの変更候補を作り、Cardの状態・出所・confidenceをGraph側へ写します。詳細は Knowledge Graph を参照してください。