Karpathy’s LLM Wiki
Andrej Karpathy 提出的 pattern:用 LLM 持續維護一個 personal wiki,取代傳統 RAG。
核心概念
本質上是 write-time-vs-read-time-compute 的應用:
- RAG 是 read-time compute — 原始文件丟進去,每次查詢時重新合成答案
- LLM Wiki 是 write-time compute — ingest 時就把知識整理、交叉引用、寫成結構化頁面,後續查詢直接讀取
詳細比較見 llm-wiki-vs-rag。
三層架構
- Raw sources — 不可變的原始資料,LLM 只讀不改
- Wiki — LLM 生成並維護的 markdown 頁面,互相用 wikilinks 連結
- Schema — 定義 wiki 結構和工作流程的設定檔
三個操作
- Ingest — 新 source 進來時,讀取、討論、建立/更新頁面、更新 index
- Query — 從 index 找相關頁面,合成答案。好的答案回寫成新頁面(knowledge compounding)
- Lint — 定期健檢:矛盾、過時資訊、孤立頁面、缺失的交叉引用
為什麼可行
傳統 wiki 的瓶頸是維護成本 — 人類會放棄更新交叉引用和摘要。LLM 讓 write-time compute 的維護成本趨近於零,解決了 Bush 的 Memex 留下的問題。