把每一篇大语言模型核心论文都当作一桩"案件"—— 有动机、有凶器、有关键证据、有结案陈词。
🚀 快速开始 · 📑 完整目录 · 🛣️ 阅读路径 · 🤝 参与贡献
《LLM 百案录》 是一套系统化的大语言模型核心论文中文笔记集，覆盖 2014—2024 年的 100+ 篇 关键工作。
每一篇笔记都遵循统一的 「案件体」 格式——把论文当案件来"破"：
- 0️⃣ 案件档案：时间 / 作者 / 凶器 / 结案陈词
- 1️⃣ 30 秒速览：电梯里讲完一句话
- 2️⃣ 3 分钟通读：搞懂 Why（动机）
- 3️⃣ 30 分钟精读：搞懂 How（机制 + 公式 + 代码片段）
- 4️⃣ 物证清单 & 🔥 Hot Take
- 5️⃣ 🐛 论文没说的坑
- 6️⃣ 🎲 如果作者偷懒了（实验/理论缺口）
- 7️⃣ 影响波及（mermaid 影响图）
- 8️⃣ 侦探手记（My Take）
- 🚀 3 小时复现路径（部分论文）
你不是在读论文，你是在破案。
| 你是…… | 推荐 5 篇入门 |
|---|---|
| 🌱 完全新手 | Attention → BERT → GPT-1 → GPT-3 → CoT |
| 💼 算法面试 | LayerNorm · Adam · RoPE · FlashAttention · LoRA |
| 🤖 做 Agent | CoT → ReAct → Toolformer → Generative Agents → Visual Agent |
| 🔍 做 RAG | RAG → Self-RAG → Corrective RAG → Query Aug → KG-RAG |
| 💸 想低成本微调 | LoRA → QLoRA → DoRA → DPO → ORPO |
| 🏗️ 想搭大模型 | Transformer → RoPE → FlashAttn → GQA → LLaMA |
┌─ L1 基础地基 ─────────── Transformer / BERT / GPT / Word2Vec / CoT …
│
├─ L2 训练与对齐 ─────── Scaling Laws / RLHF / DPO / RoPE / FlashAttn …
│
├─ L3 架构与生态 ─────── MoE / Agent / RAG / PEFT 四大支柱
│
└─ L4 前沿与应用 ─────── 推理增强 / 新架构 / 长上下文 / 多模态 / 安全 …
📑 完整章节索引：INDEX.md
Attention · BERT · GPT-1/2 · Seq2Seq · Word2Vec · Dropout · LayerNorm · Adam · GPT-3 · CoT · ToT · Self-Consistency · LLaMA
Scaling Laws · Chinchilla · InstructGPT · PPO · Constitutional AI · DPO · ORPO · Self-Rewarding · RoPE · FlashAttention · MQA · GLU Variants · RMSNorm · GQA · BFloat16 · …
Mixtral · Switch Transformer · ReAct · Generative Agents · AutoGPT · Visual Agent · Toolformer · WebGPT · RAG · Self-RAG · LoRA · QLoRA · DoRA · Prefix Tuning · …
Step-by-Step Verify · STaR · Mamba · Mamba 2 · RetNet · RWKV · YaRN · GPT-4V · LLaVA · CogVLM · Red Teaming · Sycophancy · MedPaLM 2 · AlphaCode · StarCoder · …
| 时间预算 | 路径 | 适合 |
|---|---|---|
| ⏱️ 30 秒 | 看 5 篇⭐⭐⭐⭐⭐入门必读 | 朋友圈装个内行 |
| 📅 1 周通读 | L1 全部 + L2-01/05/14 + L3-01/07/15/21 | 面试 / 转岗 |
| 📅 1 个月精读 | 所有 ⭐⭐⭐⭐⭐ + 复现核心代码 | 工程师上岗 |
| 📅 3 个月研究 | 全部读完 + 跟进每篇延伸卷宗 | 做 LLM 研究 |
创新性 ██████████ X/10 ← 核心思想的新颖程度
影响力 ██████████ X/10 ← 后续工作引用与产业落地
复杂度 ██████████ X/10 ← 数学/工程门槛
可复现 ██████████ X/10 ← 开源情况 + 算力门槛
争议度 ██████████ X/10 ← 学术争议程度
每篇笔记顶部都有 4 档跳转：
PR 永远欢迎！可贡献的方向：
- 🆕 新增论文笔记（请遵循 案件体 格式，参考任意已有笔记作为模板）
- 🐛 修正事实错误 / 拼写 / 链接失效
- 🌐 翻译成英文 / 其他语言
- 🎨 完善 Docsify 主题、添加新插件
- 📝 补充"3 小时复现"代码片段
详情见 CONTRIBUTING.md。
本笔记集站在巨人的肩膀上——所有原始论文作者贡献了真正的智慧，本仓库只是把它们整理成更易消化的"案件卷宗"。
MIT · 笔记内容采用知识共享理念：自由复制、修改、传播，唯一要求是保留来源。
💡 附注：所有原始论文版权归原作者所有；本仓库仅为学习笔记与二次创作。
如果这个仓库帮到你了，给个 ⭐ 是对作者最大的鼓励。
📚 把论文当案件来读，你会发现整个 LLM 时代是一部连续的侦探小说。