来源书籍

大语言模型-基础与前沿 (熊涛)

Skill 版本:v24 190 张卡片

熊涛 · 人民邮电出版社 · 2024年4月 · ISBN 9787115634887

章节与卡片

00

2 张卡片
  1. 写这本书的紧迫感来自哪 理解等级:中级 普通读书笔记卡
  2. 十二章的三段路线 理解等级:初级 结构图卡

01 大语言模型:辩论、争议与未来发展方向

14 张卡片
  1. 自监督让规模变成能力 理解等级:中级 普通读书笔记卡
  2. 理解之争的四层立场 理解等级:中级 普通读书笔记卡
  3. 碳基特权是可检验假设 理解等级:高级 普通读书笔记卡
  4. 中文房间:句法不等于语义 理解等级:中级 普通读书笔记卡
  5. 落地论:意义在语言之外 理解等级:中级 普通读书笔记卡
  6. 落地论的三处薄弱 理解等级:高级 普通读书笔记卡
  7. 世界模型之争是经验问题 理解等级:高级 普通读书笔记卡
  8. 没有意图的文本会漂移 理解等级:中级 普通读书笔记卡
  9. 系统性论与它的反证 理解等级:高级 普通读书笔记卡
  10. 形式能力不等于功能能力 理解等级:高级 普通读书笔记卡
  11. 涌现:规模带来的意外能力 理解等级:高级 普通读书笔记卡
  12. 数据墙与自造数据 理解等级:中级 普通读书笔记卡
  13. 稀疏专家:用激活稀疏换规模 理解等级:中级 普通读书笔记卡
  14. 幻觉的根源是奖励错位 理解等级:中级 普通读书笔记卡

02 语言模型和分词

14 张卡片
  1. 语言模型是序列概率函数 理解等级:中级 普通读书笔记卡
  2. 链规则把整句拆成条件概率 理解等级:中级 普通读书笔记卡
  3. 马尔可夫假设与 n 元语法 理解等级:高级 普通读书笔记卡
  4. 用计数估出 n 元语法概率 理解等级:中级 普通读书笔记卡
  5. 零概率与平滑的基本思路 理解等级:中级 普通读书笔记卡
  6. 词嵌入让相似词共享参数 理解等级:高级 普通读书笔记卡
  7. 上下文长度与训练代价 理解等级:中级 普通读书笔记卡
  8. 困惑度:平均分支系数 理解等级:中级 普通读书笔记卡
  9. 困惑度的可比性边界 理解等级:高级 普通读书笔记卡
  10. 词表粒度的两难 理解等级:高级 普通读书笔记卡
  11. BPE:按频率合并出子词 理解等级:中级 普通读书笔记卡
  12. 字节级 BPE 消灭 UNK 理解等级:中级 普通读书笔记卡
  13. 把空格当作普通符号 理解等级:高级 普通读书笔记卡
  14. 无分词器与可学习分词 理解等级:高级 普通读书笔记卡

03 Transformer

20 张卡片
  1. 自注意力:查询、键与值 理解等级:中级 普通读书笔记卡
  2. 自注意力数据流 理解等级:中级 结构图卡
  3. 多头注意力:并行的子空间 理解等级:中级 普通读书笔记卡
  4. 残差与层归一化 理解等级:高级 普通读书笔记卡
  5. 前馈层:逐位置的通道变换 理解等级:中级 普通读书笔记卡
  6. 编码器-解码器结构 理解等级:中级 结构图卡
  7. 掩码与交叉:谁能看见谁 理解等级:高级 普通读书笔记卡
  8. 位置嵌入:顺序如何注入 理解等级:中级 普通读书笔记卡
  9. 相对位置:只关心距离 理解等级:高级 普通读书笔记卡
  10. RoPE:用旋转表示相对位置 理解等级:高级 普通读书笔记卡
  11. 长上下文:代价与三条路线 理解等级:高级 问题卡
  12. 段间循环与压缩记忆 理解等级:高级 普通读书笔记卡
  13. 学出来的注意力跨度与遗忘 理解等级:高级 普通读书笔记卡
  14. 外部记忆的四种接法 理解等级:高级 普通读书笔记卡
  15. 稀疏注意力:局部、全局与组合 理解等级:高级 普通读书笔记卡
  16. 条件计算:按难度分配算力 理解等级:高级 普通读书笔记卡
  17. 多查询与分组查询注意力 理解等级:高级 普通读书笔记卡
  18. KV缓存:解码的复用机制 理解等级:中级 结构图卡
  19. 推测解码:小模型起草 理解等级:高级 普通读书笔记卡
  20. 更小模型:修剪、蒸馏与量化 理解等级:中级 普通读书笔记卡

04 预训练目标和解码策略

16 张卡片
  1. 掩蔽模式划分架构家族 理解等级:中级 结构图卡
  2. 仅编码器为何被弃用 理解等级:高级 普通读书笔记卡
  3. 因果语言建模:预测下一词 理解等级:中级 普通读书笔记卡
  4. 掩蔽语言建模:双向填空 理解等级:中级 普通读书笔记卡
  5. 前缀语言建模的半双向 理解等级:中级 普通读书笔记卡
  6. T5 跨度损坏与三种口径 理解等级:中级 普通读书笔记卡
  7. 中间填充让模型补中段 理解等级:中级 普通读书笔记卡
  8. UL2:一个模型多种去噪 理解等级:中级 普通读书笔记卡
  9. MiM:前后向互相校准 理解等级:高级 普通读书笔记卡
  10. 参数不是唯一尺度 理解等级:高级 普通读书笔记卡
  11. PaLM 的工程化改造 理解等级:中级 普通读书笔记卡
  12. 贪心与束搜索的盲点 理解等级:中级 操作参考卡
  13. 温度与截断采样速查 理解等级:中级 操作参考卡
  14. 局部典型采样求自然 理解等级:高级 普通读书笔记卡
  15. RANKGEN:给生成结果打分 理解等级:高级 普通读书笔记卡
  16. 掩蔽预测:并行迭代解码 理解等级:高级 普通读书笔记卡

05 上下文学习和轻量级微调

22 张卡片
  1. 冻结权重,把任务写进提示 理解等级:初级 普通读书笔记卡
  2. 零样本与少样本的分界 理解等级:中级 普通读书笔记卡
  3. 示范选择:相似还是多样 理解等级:高级 普通读书笔记卡
  4. 训练一个会挑示范的检索器 理解等级:高级 普通读书笔记卡
  5. 给每个示范算影响力 理解等级:高级 普通读书笔记卡
  6. 样本顺序为何如此敏感 理解等级:中级 普通读书笔记卡
  7. 让模型自己写任务指令 理解等级:中级 普通读书笔记卡
  8. 思维链:把推理写进示范 理解等级:中级 普通读书笔记卡
  9. 思维链的几种轻量变体 理解等级:中级 普通读书笔记卡
  10. 反向链接更适合演绎推理 理解等级:高级 普通读书笔记卡
  11. 问题分解:提示与训练两条路 理解等级:中级 普通读书笔记卡
  12. ICL 为什么有效 理解等级:高级 普通读书笔记卡
  13. 指令微调与上下文学习的分工 理解等级:中级 普通读书笔记卡
  14. 提示敏感与三类偏差 理解等级:中级 普通读书笔记卡
  15. 无数据也能校准提示 理解等级:高级 普通读书笔记卡
  16. 表面形式竞争与 PMI 校准 理解等级:高级 普通读书笔记卡
  17. 轻量级微调的三条路线 理解等级:中级 结构图卡
  18. 适配器:窄瓶颈插层 理解等级:中级 普通读书笔记卡
  19. 提示调优与前缀调优 理解等级:中级 普通读书笔记卡
  20. IA3:三个缩放向量 理解等级:中级 普通读书笔记卡
  21. LoRA:用低秩增量改权重 理解等级:高级 普通读书笔记卡
  22. 参数高效微调对照表 理解等级:中级 普通读书笔记卡

06 训练更大的模型

22 张卡片
  1. 损失随规模按幂律下降 理解等级:初级 普通读书笔记卡
  2. 用6ND估算训练算力 理解等级:中级 普通读书笔记卡
  3. 参数与数据谁先耗尽 理解等级:高级 普通读书笔记卡
  4. Chinchilla配比法则 理解等级:中级 普通读书笔记卡
  5. 退火计划错位让法则失真 理解等级:高级 普通读书笔记卡
  6. 比特级缩放法则 理解等级:中级 普通读书笔记卡
  7. 涌现:跨过阈值才出现 理解等级:中级 普通读书笔记卡
  8. 涌现可能是度量错觉 理解等级:高级 普通读书笔记卡
  9. 专用加速器与利用墙 理解等级:中级 普通读书笔记卡
  10. GPU与TPU:显存与互连 理解等级:高级 普通读书笔记卡
  11. 数据并行与梯度同步 理解等级:中级 普通读书笔记卡
  12. 环全归约的通信量恒定 理解等级:高级 普通读书笔记卡
  13. 大批次为何伤泛化 理解等级:高级 普通读书笔记卡
  14. 流水线并行与气泡 理解等级:中级 普通读书笔记卡
  15. 张量并行切矩阵 理解等级:高级 普通读书笔记卡
  16. 序列并行与环自注意力 理解等级:中级 普通读书笔记卡
  17. ZeRO三阶段分片 理解等级:中级 普通读书笔记卡
  18. 重计算与卸载换显存 理解等级:中级 普通读书笔记卡
  19. 半精度训练的三道保险 理解等级:中级 普通读书笔记卡
  20. FP8与INT8怎么选 理解等级:高级 普通读书笔记卡
  21. 8位优化器省显存 理解等级:中级 普通读书笔记卡
  22. 并行切分维度全景 理解等级:高级 结构图卡

07 稀疏专家模型

15 张卡片
  1. 稀疏换规模:为何划算 理解等级:中级 普通读书笔记卡
  2. MoE 层:多参数、少计算 理解等级:中级 普通读书笔记卡
  3. 稀疏训练的稳定性代价 理解等级:高级 问题卡
  4. 门控打分与 top-k 软选择 理解等级:中级 结构图卡
  5. 负载均衡的辅助损失 理解等级:中级 普通读书笔记卡
  6. 专家容量与词元溢出 理解等级:中级 普通读书笔记卡
  7. 表征崩溃:top-1 的副作用 理解等级:高级 普通读书笔记卡
  8. top-1 够用:Switch 理解等级:中级 普通读书笔记卡
  9. 专家选择:让专家挑词元 理解等级:高级 普通读书笔记卡
  10. BASE:路由写成分配 理解等级:高级 普通读书笔记卡
  11. 哈希层:不学路由也能用 理解等级:中级 普通读书笔记卡
  12. 专家并行的通信瓶颈 理解等级:高级 结构图卡
  13. MPOE:专家冗余与参数共享 理解等级:高级 普通读书笔记卡
  14. 工程约束:形状、内核与量化 理解等级:高级 普通读书笔记卡
  15. MoE 与集成:互补而非替代 理解等级:高级 普通读书笔记卡

08 检索增强型语言模型

14 张卡片
  1. 为什么要把记忆外包 理解等级:初级 普通读书笔记卡
  2. 知识图谱还是原始文本 理解等级:中级 普通读书笔记卡
  3. REALM:把检索当潜变量 理解等级:中级 普通读书笔记卡
  4. REALM 的索引刷新代价 理解等级:高级 普通读书笔记卡
  5. 让模型学会该查还是该记 理解等级:中级 普通读书笔记卡
  6. kNN-MT:给输出层加记忆 理解等级:中级 普通读书笔记卡
  7. 词元级检索贵在哪里 理解等级:中级 普通读书笔记卡
  8. 检索错了,生成也会错 理解等级:高级 普通读书笔记卡
  9. ColBERT:后期交互检索 理解等级:中级 普通读书笔记卡
  10. RGS:没有标注怎么训检索器 理解等级:中级 普通读书笔记卡
  11. Baleen:多跳要精简 理解等级:中级 普通读书笔记卡
  12. RETRO 的分块交叉注意力 理解等级:中级 结构图卡
  13. REPLUG:黑盒也能检索增强 理解等级:高级 普通读书笔记卡
  14. 视觉增强:给词元配图 理解等级:中级 普通读书笔记卡

09 对齐语言模型与人类偏好

17 张卡片
  1. 能力与对齐不是一回事 理解等级:初级 普通读书笔记卡
  2. 语法相似度测不出人类偏好 理解等级:中级 普通读书笔记卡
  3. RLHF 的三步流水线 理解等级:中级 结构图卡
  4. 成对比较如何学出奖励 理解等级:中级 普通读书笔记卡
  5. PPO 里的三个模型与 KL 理解等级:中级 普通读书笔记卡
  6. 奖励黑客与长度偏置 理解等级:高级 普通读书笔记卡
  7. 前向 KL 与反向 KL 理解等级:中级 普通读书笔记卡
  8. 对齐即后验推断 理解等级:高级 普通读书笔记卡
  9. GDC:对齐分布而非单条输出 理解等级:中级 普通读书笔记卡
  10. 散度选择没有唯一最优 理解等级:高级 普通读书笔记卡
  11. 用自然语言反馈做微调 理解等级:中级 普通读书笔记卡
  12. 后视重标注:失败也是数据 理解等级:中级 普通读书笔记卡
  13. 宪法式 AI:按原则自我修订 理解等级:中级 结构图卡
  14. 可扩展的监督 理解等级:初级 普通读书笔记卡
  15. 迭代自我反馈 理解等级:中级 普通读书笔记卡
  16. 偏好预训练:把对齐前置 理解等级:高级 普通读书笔记卡
  17. 对齐的收益是有条件的 理解等级:高级 普通读书笔记卡

10 减少偏见和有害性

13 张卡片
  1. 偏见从语料里长出来 理解等级:中级 普通读书笔记卡
  2. 代词与译文里的性别默认 理解等级:初级 普通读书笔记卡
  3. 语料代表性与语言识别落差 理解等级:中级 普通读书笔记卡
  4. 偏见探针:用模板问模型 理解等级:中级 普通读书笔记卡
  5. 偏见度量的三种参照系 理解等级:高级 普通读书笔记卡
  6. 什么算有害:定义与情境 理解等级:初级 普通读书笔记卡
  7. 有害性打分器的陷阱 理解等级:高级 普通读书笔记卡
  8. 用诱导提示做生成侧压测 理解等级:中级 普通读书笔记卡
  9. 解码期去毒的两条路 理解等级:高级 普通读书笔记卡
  10. 模型自查:自诊断与自纠偏 理解等级:高级 普通读书笔记卡
  11. 数据侧去毒与规模的反噬 理解等级:高级 普通读书笔记卡
  12. 表征层去偏与文本改写 理解等级:中级 普通读书笔记卡
  13. 拒答的边界与代价 理解等级:高级 普通读书笔记卡

11 视觉语言模型

16 张卡片
  1. 语言为何需要视觉落地 理解等级:初级 普通读书笔记卡
  2. 把图像接进语言模型的三条路 理解等级:中级 普通读书笔记卡
  3. 不改权重,只改解码 理解等级:中级 普通读书笔记卡
  4. 用语言当模块之间的中介 理解等级:中级 普通读书笔记卡
  5. 用相似度检索替代训练 理解等级:中级 普通读书笔记卡
  6. 锁住图像端,只训文本端 理解等级:高级 普通读书笔记卡
  7. 把图像变成一段软前缀 理解等级:中级 普通读书笔记卡
  8. 映射层的四种做法 理解等级:中级 普通读书笔记卡
  9. 只训一个投影层够不够 理解等级:中级 普通读书笔记卡
  10. 门控交叉注意力与交错输入 理解等级:高级 普通读书笔记卡
  11. Q-Former 当跨模态瓶颈 理解等级:高级 普通读书笔记卡
  12. 图文联合训练的数据流 理解等级:中级 结构图卡
  13. 一个视觉单位该有多大 理解等级:高级 普通读书笔记卡
  14. 检索增强为什么难做 理解等级:高级 普通读书笔记卡
  15. 用 GPT-4 造视觉指令数据 理解等级:中级 普通读书笔记卡
  16. 视觉语言模型的幻觉从哪来 理解等级:高级 普通读书笔记卡

12 环境影响

5 张卡片
  1. 碳强度:用电换算成排放 理解等级:中级 普通读书笔记卡
  2. PUE 与训练功耗的估算链 理解等级:中级 普通读书笔记卡
  3. 推理才是能耗的大头 理解等级:高级 普通读书笔记卡
  4. 碳感知计算:择地与择时 理解等级:高级 普通读书笔记卡
  5. 排放数字为何难以横比 理解等级:高级 普通读书笔记卡

全书概览

大语言模型:基础与前沿

执行模式:light

建档进度:done

Skill 版本:v24

整体评级

信息浓度:高。全书以机制解释为主,几乎每个结构都交代了”为什么这样设计”与”代价落在哪里”。例如自注意力除以 √d_k 不是为了好看:维度越高点积方差越大,softmax 会被推入接近 one-hot 的饱和区、梯度趋近于零,缩放是把打分拉回合适温度的手段;再如稀疏专家模型,作者先把”参数、算力、显存同步增长”与幂律收益的矛盾摆出来,再解释门控为何必须用 softmax 加权才能让梯度穿过离散选择。第2章的 n-gram 参数爆炸与平滑、第6章的并行切分与通信代价、第9章的奖励黑客与长度偏置,都属于同一类高浓度论述——给因果与权衡,而不是罗列结论。

稳定性:高(局部需核对)。可迁移的部分包括分词与语言建模的取舍结构、自注意力的计算与复杂度、预训练目标与解码策略的失效方式、并行的切分维度与通信代价、MoE 的路由与负载均衡、检索增强的动机、偏好对齐的目标改造逻辑。不稳定的部分是模型名、参数量、实验数字与当年框架现状(GPT-3/PaLM/Chinchilla/ST-MoE 的具体配置、GPU 型号与显存规格),这些会随换代失效,需要在自己的环境重测。

四象限定位:高浓度 × 高稳定 → 经典原理(第一级别)。第6章的训练系统、第12章的能耗核算最接近工程实践(数字与硬件强相关),其余各章的机制判断更耐久,整体按高位定级。

内容形态:主体为概念解析型(默认),按”提出问题—拆结构—给代价”的论文式叙述组织,不按问题清单或命令族罗列;局部为操作参考型(第4章解码策略、第5章各类参数高效微调的参数位置对照),这些局部按操作参考卡与对照表处理。

整书笔记

阅读正文、章节讲解、全书主线、跨章综合与全部卡片/原文定位见 _book_note.md。覆盖与候选取舍见 _coverage.md。

章节进度追踪

章节号 章节标题 状态(pending/done) 卡片数
00 前言 done 2
01 第1章 大语言模型:辩论、争议与未来发展方向 done 14
02 第2章 语言模型和分词 done 14
03 第3章 Transformer done 20
04 第4章 预训练目标和解码策略 done 16
05 第5章 上下文学习和轻量级微调 done 22
06 第6章 训练更大的模型 done 22
07 第7章 稀疏专家模型 done 15
08 第8章 检索增强型语言模型 done 14
09 第9章 对齐语言模型与人类偏好 done 17
10 第10章 减少偏见和有害性 done 13
11 第11章 视觉语言模型 done 16
12 第12章 环境影响 done 5

合计 190 张知识卡(普通读书笔记卡 173 / 结构图卡 13 / 问题卡 2 / 操作参考卡 2 / 延伸参考卡 0;理解等级 初级 8 / 中级 102 / 高级 78)。另 4 张实践卡在 ideas/,不计入章节卡数。

非正文排除

spine项 类型 排除理由
spine[1] titlepage.xhtml 封面占位 仅 “Cover” 五字符,无正文
spine[2] cover.xhtml 封面图 仅书名图示文字(21 字符),无知识内容
spine[3] Copyright.xhtml 版权页 出版信息(书名、作者、出版社、时间、ISBN、字数),无正文;出版元数据取自本页
spine[4] chapter0.xhtml 内容提要 276 字符的封底简介,概述全书主题与读者对象,无独立知识内容
spine[5] chapter1.xhtml 资源与支持 彩图/思维导图/参考文献电子版的获取方式与勘误反馈渠道,属地服务信息
spine[19]–[22] chapter15_split_000–003.xhtml 参考文献 四段合计约 9.3 万字符的文献条目清单,无讲解性正文
spine[23] daima.xhtml 字体版权页 Adobe Source 字体授权声明(OFL 全文),与本书内容无关

前言(spine[6],1,292 字符)纳入正文并读完:交代写作动机、十二章路线与读者对象,成卡 2 张。

待关联术语

术语名 出现章节 一句话语境
ImageNet 第3章、第11章 作为大规模标注数据集与视觉预训练的参照被点名,未展开其规模构成与标注方式
AlphaFold 第6章 作为”大规模算力训练取得突破”的举例出现,未解释其结构与训练方法

引用文献

标题 类型(书/论文/框架/源码项目) 出现章节 一句话语境
Megatron-LM 源码项目 第4章、第6章 作为张量并行与大规模训练工程的代表被提及,未展开其切分实现(书中以切分原理与通信代价讲解为主)

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明
— — — — 全书不涉及转账、扣款、限额、清结算等资金并发场景,无此类案例

实践卡进度

序号 实践标题 实践方式 状态(pending/done) 关联章节 产出
1 核算一次微调训练的碳排量 真实任务 done 第12章 → 笔记 idea-001(计划交付,未执行)
2 实测中英文分词效率与困惑度不可比 真实任务 done 第2章 → 笔记 idea-002(计划交付,未执行)
3 LoRA 与全参微调的对照实验 真实任务 done 第5章 → 笔记 idea-003(计划交付,未执行)
4 为手头任务做架构与解码选型备忘 决策实践 done 第4章、第5章 → 笔记 idea-004(计划交付,未执行)

实践候选筛选:done

未采用候选及原因:①「读一套 MoE 开源实现的路由代码并做负载均衡观察」——属实现深读,需先核验目标项目确实采用书中所述门控与容量机制、并锁定版本/提交,本轮未做联网核验,按模板要求不写成可执行计划;②「用 KV 缓存与 GQA 实测显存/延迟曲线」——需多卡或大显存环境,单机无法得到有判别力的数据,且与第 3 张实践卡的显存对照部分重叠;③「复现 RLHF 三步流水线」——需要奖励模型训练与 PPO 调参,成本远超单轮实践,且难以在小规模上检验书中关于 KL 约束的结论;④「按第 10 章做去偏前后对照」——评测集与人工标注不可得,若自造样本则无法验证偏见度量本身的有效性。其余候选(如长上下文方案横评、检索索引刷新实验)缺少可量化的验收口径,未单独成卡。

遗留与局限

  1. 本地 EPUB 无 dc:edition,edition 记 null;isbn 取自版权页文本(9787115634887),未与外部书目核对。
  2. 书中插图(Transformer 结构、并行切分、路由与容量、检索-生成数据流等)以图片形式存在,结构图卡的节点与边只据周边文字与正文描述重建,可能少于原图。
  3. 第6章的硬件参数(显存容量、互连带宽、加速器型号)与第12章的排放因子属时效性数据,卡片只保留其口径与量级,具体数值需按当前硬件重新核算。
  4. 参考文献四段(约 9.3 万字符)按非正文排除,未逐条登记为引用文献;其中被正文实质讨论的论文(Chinchilla、RETRO、Switch、BLAM 等)已在对应章节成卡。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。