来源书籍
大语言模型-基础与前沿 (熊涛)
章节与卡片
00
2 张卡片
- 写这本书的紧迫感来自哪 理解等级:中级 普通读书笔记卡
- 十二章的三段路线 理解等级:初级 结构图卡
01 大语言模型:辩论、争议与未来发展方向
14 张卡片
- 自监督让规模变成能力 理解等级:中级 普通读书笔记卡
- 理解之争的四层立场 理解等级:中级 普通读书笔记卡
- 碳基特权是可检验假设 理解等级:高级 普通读书笔记卡
- 中文房间:句法不等于语义 理解等级:中级 普通读书笔记卡
- 落地论:意义在语言之外 理解等级:中级 普通读书笔记卡
- 落地论的三处薄弱 理解等级:高级 普通读书笔记卡
- 世界模型之争是经验问题 理解等级:高级 普通读书笔记卡
- 没有意图的文本会漂移 理解等级:中级 普通读书笔记卡
- 系统性论与它的反证 理解等级:高级 普通读书笔记卡
- 形式能力不等于功能能力 理解等级:高级 普通读书笔记卡
- 涌现:规模带来的意外能力 理解等级:高级 普通读书笔记卡
- 数据墙与自造数据 理解等级:中级 普通读书笔记卡
- 稀疏专家:用激活稀疏换规模 理解等级:中级 普通读书笔记卡
- 幻觉的根源是奖励错位 理解等级:中级 普通读书笔记卡
02 语言模型和分词
14 张卡片
- 语言模型是序列概率函数 理解等级:中级 普通读书笔记卡
- 链规则把整句拆成条件概率 理解等级:中级 普通读书笔记卡
- 马尔可夫假设与 n 元语法 理解等级:高级 普通读书笔记卡
- 用计数估出 n 元语法概率 理解等级:中级 普通读书笔记卡
- 零概率与平滑的基本思路 理解等级:中级 普通读书笔记卡
- 词嵌入让相似词共享参数 理解等级:高级 普通读书笔记卡
- 上下文长度与训练代价 理解等级:中级 普通读书笔记卡
- 困惑度:平均分支系数 理解等级:中级 普通读书笔记卡
- 困惑度的可比性边界 理解等级:高级 普通读书笔记卡
- 词表粒度的两难 理解等级:高级 普通读书笔记卡
- BPE:按频率合并出子词 理解等级:中级 普通读书笔记卡
- 字节级 BPE 消灭 UNK 理解等级:中级 普通读书笔记卡
- 把空格当作普通符号 理解等级:高级 普通读书笔记卡
- 无分词器与可学习分词 理解等级:高级 普通读书笔记卡
03 Transformer
20 张卡片
- 自注意力:查询、键与值 理解等级:中级 普通读书笔记卡
- 自注意力数据流 理解等级:中级 结构图卡
- 多头注意力:并行的子空间 理解等级:中级 普通读书笔记卡
- 残差与层归一化 理解等级:高级 普通读书笔记卡
- 前馈层:逐位置的通道变换 理解等级:中级 普通读书笔记卡
- 编码器-解码器结构 理解等级:中级 结构图卡
- 掩码与交叉:谁能看见谁 理解等级:高级 普通读书笔记卡
- 位置嵌入:顺序如何注入 理解等级:中级 普通读书笔记卡
- 相对位置:只关心距离 理解等级:高级 普通读书笔记卡
- RoPE:用旋转表示相对位置 理解等级:高级 普通读书笔记卡
- 长上下文:代价与三条路线 理解等级:高级 问题卡
- 段间循环与压缩记忆 理解等级:高级 普通读书笔记卡
- 学出来的注意力跨度与遗忘 理解等级:高级 普通读书笔记卡
- 外部记忆的四种接法 理解等级:高级 普通读书笔记卡
- 稀疏注意力:局部、全局与组合 理解等级:高级 普通读书笔记卡
- 条件计算:按难度分配算力 理解等级:高级 普通读书笔记卡
- 多查询与分组查询注意力 理解等级:高级 普通读书笔记卡
- KV缓存:解码的复用机制 理解等级:中级 结构图卡
- 推测解码:小模型起草 理解等级:高级 普通读书笔记卡
- 更小模型:修剪、蒸馏与量化 理解等级:中级 普通读书笔记卡
04 预训练目标和解码策略
16 张卡片
- 掩蔽模式划分架构家族 理解等级:中级 结构图卡
- 仅编码器为何被弃用 理解等级:高级 普通读书笔记卡
- 因果语言建模:预测下一词 理解等级:中级 普通读书笔记卡
- 掩蔽语言建模:双向填空 理解等级:中级 普通读书笔记卡
- 前缀语言建模的半双向 理解等级:中级 普通读书笔记卡
- T5 跨度损坏与三种口径 理解等级:中级 普通读书笔记卡
- 中间填充让模型补中段 理解等级:中级 普通读书笔记卡
- UL2:一个模型多种去噪 理解等级:中级 普通读书笔记卡
- MiM:前后向互相校准 理解等级:高级 普通读书笔记卡
- 参数不是唯一尺度 理解等级:高级 普通读书笔记卡
- PaLM 的工程化改造 理解等级:中级 普通读书笔记卡
- 贪心与束搜索的盲点 理解等级:中级 操作参考卡
- 温度与截断采样速查 理解等级:中级 操作参考卡
- 局部典型采样求自然 理解等级:高级 普通读书笔记卡
- RANKGEN:给生成结果打分 理解等级:高级 普通读书笔记卡
- 掩蔽预测:并行迭代解码 理解等级:高级 普通读书笔记卡
05 上下文学习和轻量级微调
22 张卡片
- 冻结权重,把任务写进提示 理解等级:初级 普通读书笔记卡
- 零样本与少样本的分界 理解等级:中级 普通读书笔记卡
- 示范选择:相似还是多样 理解等级:高级 普通读书笔记卡
- 训练一个会挑示范的检索器 理解等级:高级 普通读书笔记卡
- 给每个示范算影响力 理解等级:高级 普通读书笔记卡
- 样本顺序为何如此敏感 理解等级:中级 普通读书笔记卡
- 让模型自己写任务指令 理解等级:中级 普通读书笔记卡
- 思维链:把推理写进示范 理解等级:中级 普通读书笔记卡
- 思维链的几种轻量变体 理解等级:中级 普通读书笔记卡
- 反向链接更适合演绎推理 理解等级:高级 普通读书笔记卡
- 问题分解:提示与训练两条路 理解等级:中级 普通读书笔记卡
- ICL 为什么有效 理解等级:高级 普通读书笔记卡
- 指令微调与上下文学习的分工 理解等级:中级 普通读书笔记卡
- 提示敏感与三类偏差 理解等级:中级 普通读书笔记卡
- 无数据也能校准提示 理解等级:高级 普通读书笔记卡
- 表面形式竞争与 PMI 校准 理解等级:高级 普通读书笔记卡
- 轻量级微调的三条路线 理解等级:中级 结构图卡
- 适配器:窄瓶颈插层 理解等级:中级 普通读书笔记卡
- 提示调优与前缀调优 理解等级:中级 普通读书笔记卡
- IA3:三个缩放向量 理解等级:中级 普通读书笔记卡
- LoRA:用低秩增量改权重 理解等级:高级 普通读书笔记卡
- 参数高效微调对照表 理解等级:中级 普通读书笔记卡
06 训练更大的模型
22 张卡片
- 损失随规模按幂律下降 理解等级:初级 普通读书笔记卡
- 用6ND估算训练算力 理解等级:中级 普通读书笔记卡
- 参数与数据谁先耗尽 理解等级:高级 普通读书笔记卡
- Chinchilla配比法则 理解等级:中级 普通读书笔记卡
- 退火计划错位让法则失真 理解等级:高级 普通读书笔记卡
- 比特级缩放法则 理解等级:中级 普通读书笔记卡
- 涌现:跨过阈值才出现 理解等级:中级 普通读书笔记卡
- 涌现可能是度量错觉 理解等级:高级 普通读书笔记卡
- 专用加速器与利用墙 理解等级:中级 普通读书笔记卡
- GPU与TPU:显存与互连 理解等级:高级 普通读书笔记卡
- 数据并行与梯度同步 理解等级:中级 普通读书笔记卡
- 环全归约的通信量恒定 理解等级:高级 普通读书笔记卡
- 大批次为何伤泛化 理解等级:高级 普通读书笔记卡
- 流水线并行与气泡 理解等级:中级 普通读书笔记卡
- 张量并行切矩阵 理解等级:高级 普通读书笔记卡
- 序列并行与环自注意力 理解等级:中级 普通读书笔记卡
- ZeRO三阶段分片 理解等级:中级 普通读书笔记卡
- 重计算与卸载换显存 理解等级:中级 普通读书笔记卡
- 半精度训练的三道保险 理解等级:中级 普通读书笔记卡
- FP8与INT8怎么选 理解等级:高级 普通读书笔记卡
- 8位优化器省显存 理解等级:中级 普通读书笔记卡
- 并行切分维度全景 理解等级:高级 结构图卡
07 稀疏专家模型
15 张卡片
- 稀疏换规模:为何划算 理解等级:中级 普通读书笔记卡
- MoE 层:多参数、少计算 理解等级:中级 普通读书笔记卡
- 稀疏训练的稳定性代价 理解等级:高级 问题卡
- 门控打分与 top-k 软选择 理解等级:中级 结构图卡
- 负载均衡的辅助损失 理解等级:中级 普通读书笔记卡
- 专家容量与词元溢出 理解等级:中级 普通读书笔记卡
- 表征崩溃:top-1 的副作用 理解等级:高级 普通读书笔记卡
- top-1 够用:Switch 理解等级:中级 普通读书笔记卡
- 专家选择:让专家挑词元 理解等级:高级 普通读书笔记卡
- BASE:路由写成分配 理解等级:高级 普通读书笔记卡
- 哈希层:不学路由也能用 理解等级:中级 普通读书笔记卡
- 专家并行的通信瓶颈 理解等级:高级 结构图卡
- MPOE:专家冗余与参数共享 理解等级:高级 普通读书笔记卡
- 工程约束:形状、内核与量化 理解等级:高级 普通读书笔记卡
- MoE 与集成:互补而非替代 理解等级:高级 普通读书笔记卡
08 检索增强型语言模型
14 张卡片
- 为什么要把记忆外包 理解等级:初级 普通读书笔记卡
- 知识图谱还是原始文本 理解等级:中级 普通读书笔记卡
- REALM:把检索当潜变量 理解等级:中级 普通读书笔记卡
- REALM 的索引刷新代价 理解等级:高级 普通读书笔记卡
- 让模型学会该查还是该记 理解等级:中级 普通读书笔记卡
- kNN-MT:给输出层加记忆 理解等级:中级 普通读书笔记卡
- 词元级检索贵在哪里 理解等级:中级 普通读书笔记卡
- 检索错了,生成也会错 理解等级:高级 普通读书笔记卡
- ColBERT:后期交互检索 理解等级:中级 普通读书笔记卡
- RGS:没有标注怎么训检索器 理解等级:中级 普通读书笔记卡
- Baleen:多跳要精简 理解等级:中级 普通读书笔记卡
- RETRO 的分块交叉注意力 理解等级:中级 结构图卡
- REPLUG:黑盒也能检索增强 理解等级:高级 普通读书笔记卡
- 视觉增强:给词元配图 理解等级:中级 普通读书笔记卡
09 对齐语言模型与人类偏好
17 张卡片
- 能力与对齐不是一回事 理解等级:初级 普通读书笔记卡
- 语法相似度测不出人类偏好 理解等级:中级 普通读书笔记卡
- RLHF 的三步流水线 理解等级:中级 结构图卡
- 成对比较如何学出奖励 理解等级:中级 普通读书笔记卡
- PPO 里的三个模型与 KL 理解等级:中级 普通读书笔记卡
- 奖励黑客与长度偏置 理解等级:高级 普通读书笔记卡
- 前向 KL 与反向 KL 理解等级:中级 普通读书笔记卡
- 对齐即后验推断 理解等级:高级 普通读书笔记卡
- GDC:对齐分布而非单条输出 理解等级:中级 普通读书笔记卡
- 散度选择没有唯一最优 理解等级:高级 普通读书笔记卡
- 用自然语言反馈做微调 理解等级:中级 普通读书笔记卡
- 后视重标注:失败也是数据 理解等级:中级 普通读书笔记卡
- 宪法式 AI:按原则自我修订 理解等级:中级 结构图卡
- 可扩展的监督 理解等级:初级 普通读书笔记卡
- 迭代自我反馈 理解等级:中级 普通读书笔记卡
- 偏好预训练:把对齐前置 理解等级:高级 普通读书笔记卡
- 对齐的收益是有条件的 理解等级:高级 普通读书笔记卡
10 减少偏见和有害性
13 张卡片
- 偏见从语料里长出来 理解等级:中级 普通读书笔记卡
- 代词与译文里的性别默认 理解等级:初级 普通读书笔记卡
- 语料代表性与语言识别落差 理解等级:中级 普通读书笔记卡
- 偏见探针:用模板问模型 理解等级:中级 普通读书笔记卡
- 偏见度量的三种参照系 理解等级:高级 普通读书笔记卡
- 什么算有害:定义与情境 理解等级:初级 普通读书笔记卡
- 有害性打分器的陷阱 理解等级:高级 普通读书笔记卡
- 用诱导提示做生成侧压测 理解等级:中级 普通读书笔记卡
- 解码期去毒的两条路 理解等级:高级 普通读书笔记卡
- 模型自查:自诊断与自纠偏 理解等级:高级 普通读书笔记卡
- 数据侧去毒与规模的反噬 理解等级:高级 普通读书笔记卡
- 表征层去偏与文本改写 理解等级:中级 普通读书笔记卡
- 拒答的边界与代价 理解等级:高级 普通读书笔记卡
11 视觉语言模型
16 张卡片
- 语言为何需要视觉落地 理解等级:初级 普通读书笔记卡
- 把图像接进语言模型的三条路 理解等级:中级 普通读书笔记卡
- 不改权重,只改解码 理解等级:中级 普通读书笔记卡
- 用语言当模块之间的中介 理解等级:中级 普通读书笔记卡
- 用相似度检索替代训练 理解等级:中级 普通读书笔记卡
- 锁住图像端,只训文本端 理解等级:高级 普通读书笔记卡
- 把图像变成一段软前缀 理解等级:中级 普通读书笔记卡
- 映射层的四种做法 理解等级:中级 普通读书笔记卡
- 只训一个投影层够不够 理解等级:中级 普通读书笔记卡
- 门控交叉注意力与交错输入 理解等级:高级 普通读书笔记卡
- Q-Former 当跨模态瓶颈 理解等级:高级 普通读书笔记卡
- 图文联合训练的数据流 理解等级:中级 结构图卡
- 一个视觉单位该有多大 理解等级:高级 普通读书笔记卡
- 检索增强为什么难做 理解等级:高级 普通读书笔记卡
- 用 GPT-4 造视觉指令数据 理解等级:中级 普通读书笔记卡
- 视觉语言模型的幻觉从哪来 理解等级:高级 普通读书笔记卡
12 环境影响
5 张卡片
- 碳强度:用电换算成排放 理解等级:中级 普通读书笔记卡
- PUE 与训练功耗的估算链 理解等级:中级 普通读书笔记卡
- 推理才是能耗的大头 理解等级:高级 普通读书笔记卡
- 碳感知计算:择地与择时 理解等级:高级 普通读书笔记卡
- 排放数字为何难以横比 理解等级:高级 普通读书笔记卡
全书概览
大语言模型:基础与前沿
执行模式:light
建档进度:done
Skill 版本:v24
整体评级
信息浓度:高。全书以机制解释为主,几乎每个结构都交代了”为什么这样设计”与”代价落在哪里”。例如自注意力除以 √d_k 不是为了好看:维度越高点积方差越大,softmax 会被推入接近 one-hot 的饱和区、梯度趋近于零,缩放是把打分拉回合适温度的手段;再如稀疏专家模型,作者先把”参数、算力、显存同步增长”与幂律收益的矛盾摆出来,再解释门控为何必须用 softmax 加权才能让梯度穿过离散选择。第2章的 n-gram 参数爆炸与平滑、第6章的并行切分与通信代价、第9章的奖励黑客与长度偏置,都属于同一类高浓度论述——给因果与权衡,而不是罗列结论。
稳定性:高(局部需核对)。可迁移的部分包括分词与语言建模的取舍结构、自注意力的计算与复杂度、预训练目标与解码策略的失效方式、并行的切分维度与通信代价、MoE 的路由与负载均衡、检索增强的动机、偏好对齐的目标改造逻辑。不稳定的部分是模型名、参数量、实验数字与当年框架现状(GPT-3/PaLM/Chinchilla/ST-MoE 的具体配置、GPU 型号与显存规格),这些会随换代失效,需要在自己的环境重测。
四象限定位:高浓度 × 高稳定 → 经典原理(第一级别)。第6章的训练系统、第12章的能耗核算最接近工程实践(数字与硬件强相关),其余各章的机制判断更耐久,整体按高位定级。
内容形态:主体为概念解析型(默认),按”提出问题—拆结构—给代价”的论文式叙述组织,不按问题清单或命令族罗列;局部为操作参考型(第4章解码策略、第5章各类参数高效微调的参数位置对照),这些局部按操作参考卡与对照表处理。
整书笔记
阅读正文、章节讲解、全书主线、跨章综合与全部卡片/原文定位见 _book_note.md。覆盖与候选取舍见 _coverage.md。
章节进度追踪
| 章节号 | 章节标题 | 状态(pending/done) | 卡片数 |
|---|---|---|---|
| 00 | 前言 | done | 2 |
| 01 | 第1章 大语言模型:辩论、争议与未来发展方向 | done | 14 |
| 02 | 第2章 语言模型和分词 | done | 14 |
| 03 | 第3章 Transformer | done | 20 |
| 04 | 第4章 预训练目标和解码策略 | done | 16 |
| 05 | 第5章 上下文学习和轻量级微调 | done | 22 |
| 06 | 第6章 训练更大的模型 | done | 22 |
| 07 | 第7章 稀疏专家模型 | done | 15 |
| 08 | 第8章 检索增强型语言模型 | done | 14 |
| 09 | 第9章 对齐语言模型与人类偏好 | done | 17 |
| 10 | 第10章 减少偏见和有害性 | done | 13 |
| 11 | 第11章 视觉语言模型 | done | 16 |
| 12 | 第12章 环境影响 | done | 5 |
合计 190 张知识卡(普通读书笔记卡 173 / 结构图卡 13 / 问题卡 2 / 操作参考卡 2 / 延伸参考卡 0;理解等级 初级 8 / 中级 102 / 高级 78)。另 4 张实践卡在 ideas/,不计入章节卡数。
非正文排除
| spine项 | 类型 | 排除理由 |
|---|---|---|
| spine[1] titlepage.xhtml | 封面占位 | 仅 “Cover” 五字符,无正文 |
| spine[2] cover.xhtml | 封面图 | 仅书名图示文字(21 字符),无知识内容 |
| spine[3] Copyright.xhtml | 版权页 | 出版信息(书名、作者、出版社、时间、ISBN、字数),无正文;出版元数据取自本页 |
| spine[4] chapter0.xhtml | 内容提要 | 276 字符的封底简介,概述全书主题与读者对象,无独立知识内容 |
| spine[5] chapter1.xhtml | 资源与支持 | 彩图/思维导图/参考文献电子版的获取方式与勘误反馈渠道,属地服务信息 |
| spine[19]–[22] chapter15_split_000–003.xhtml | 参考文献 | 四段合计约 9.3 万字符的文献条目清单,无讲解性正文 |
| spine[23] daima.xhtml | 字体版权页 | Adobe Source 字体授权声明(OFL 全文),与本书内容无关 |
前言(spine[6],1,292 字符)纳入正文并读完:交代写作动机、十二章路线与读者对象,成卡 2 张。
待关联术语
| 术语名 | 出现章节 | 一句话语境 |
|---|---|---|
| ImageNet | 第3章、第11章 | 作为大规模标注数据集与视觉预训练的参照被点名,未展开其规模构成与标注方式 |
| AlphaFold | 第6章 | 作为”大规模算力训练取得突破”的举例出现,未解释其结构与训练方法 |
引用文献
| 标题 | 类型(书/论文/框架/源码项目) | 出现章节 | 一句话语境 |
|---|---|---|---|
| Megatron-LM | 源码项目 | 第4章、第6章 | 作为张量并行与大规模训练工程的代表被提及,未展开其切分实现(书中以切分原理与通信代价讲解为主) |
资金安全问题案例
| 问题标题 | 问题卡 | 解决方案卡(如有) | 出现章节 | 一句话说明 |
|---|---|---|---|---|
| — | — | — | — | 全书不涉及转账、扣款、限额、清结算等资金并发场景,无此类案例 |
实践卡进度
| 序号 | 实践标题 | 实践方式 | 状态(pending/done) | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 1 | 核算一次微调训练的碳排量 | 真实任务 | done | 第12章 → 笔记 | idea-001(计划交付,未执行) |
| 2 | 实测中英文分词效率与困惑度不可比 | 真实任务 | done | 第2章 → 笔记 | idea-002(计划交付,未执行) |
| 3 | LoRA 与全参微调的对照实验 | 真实任务 | done | 第5章 → 笔记 | idea-003(计划交付,未执行) |
| 4 | 为手头任务做架构与解码选型备忘 | 决策实践 | done | 第4章、第5章 → 笔记 | idea-004(计划交付,未执行) |
实践候选筛选:done
未采用候选及原因:①「读一套 MoE 开源实现的路由代码并做负载均衡观察」——属实现深读,需先核验目标项目确实采用书中所述门控与容量机制、并锁定版本/提交,本轮未做联网核验,按模板要求不写成可执行计划;②「用 KV 缓存与 GQA 实测显存/延迟曲线」——需多卡或大显存环境,单机无法得到有判别力的数据,且与第 3 张实践卡的显存对照部分重叠;③「复现 RLHF 三步流水线」——需要奖励模型训练与 PPO 调参,成本远超单轮实践,且难以在小规模上检验书中关于 KL 约束的结论;④「按第 10 章做去偏前后对照」——评测集与人工标注不可得,若自造样本则无法验证偏见度量本身的有效性。其余候选(如长上下文方案横评、检索索引刷新实验)缺少可量化的验收口径,未单独成卡。
遗留与局限
- 本地 EPUB 无
dc:edition,edition记 null;isbn取自版权页文本(9787115634887),未与外部书目核对。 - 书中插图(Transformer 结构、并行切分、路由与容量、检索-生成数据流等)以图片形式存在,结构图卡的节点与边只据周边文字与正文描述重建,可能少于原图。
- 第6章的硬件参数(显存容量、互连带宽、加速器型号)与第12章的排放因子属时效性数据,卡片只保留其口径与量级,具体数值需按当前硬件重新核算。
- 参考文献四段(约 9.3 万字符)按非正文排除,未逐条登记为引用文献;其中被正文实质讨论的论文(Chinchilla、RETRO、Switch、BLAM 等)已在对应章节成卡。
相关主题
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
暂无公开主题。