来源书籍

从零构建大模型:算法、训练与微调

Skill 版本:v24 经典原理**(高信息浓度 + 高稳定性) 135 张卡片

梁楠 · 清华大学出版社 · 2025-04 · ISBN 9787302685616

章节与卡片

00 大模型技术的发展与开发环境

3 张卡片
  1. 大模型技术的四段演进 理解等级:中级 普通读书笔记卡
  2. 自注意力取代循环的三个理由 理解等级:高级 普通读书笔记卡
  3. 预训练微调的三种架构路线 理解等级:中级 普通读书笔记卡

01 Transformer模型基础

11 张卡片
  1. 编码器读全句,解码器逐词生成 理解等级:初级 结构图卡
  2. 教师强制用真实标签喂解码器 理解等级:中级 普通读书笔记卡
  3. 分词器把句子切成索引序列 理解等级:初级 普通读书笔记卡
  4. 嵌入层把词索引映射为稠密向量 理解等级:初级 普通读书笔记卡
  5. 自注意力用点积衡量词间相关度 理解等级:中级 结构图卡
  6. 多头注意力在多个子空间并行关注 理解等级:中级 结构图卡
  7. 形状一致让模块可以逐层堆叠 理解等级:中级 普通读书笔记卡
  8. 残差连接用捷径保住梯度 理解等级:中级 普通读书笔记卡
  9. 层归一化按特征维度标准化 理解等级:中级 普通读书笔记卡
  10. 正弦位置编码给词注入顺序感 理解等级:中级 普通读书笔记卡
  11. 打乱词序后位置编码仍区分次序 理解等级:中级 普通读书笔记卡

02 GPT模型文本生成核心原理与实现

11 张卡片
  1. 层堆叠靠注意力与前馈逐层抽象 理解等级:中级 结构图卡
  2. 单向掩码只让模型看到过去 理解等级:中级 结构图卡
  3. GPT按提示词循环预测下一个词 理解等级:初级 结构图卡
  4. 贪心搜索每步只取最高概率词 理解等级:初级 普通读书笔记卡
  5. 束搜索保留多条候选路径 理解等级:中级 普通读书笔记卡
  6. BLEU用n元组重合算精确率 理解等级:中级 普通读书笔记卡
  7. ROUGE用召回率衡量内容覆盖 理解等级:中级 普通读书笔记卡
  8. 困惑度是交叉熵损失取指数 理解等级:中级 普通读书笔记卡
  9. 困惑度低不等于文本质量高 理解等级:高级 普通读书笔记卡
  10. 学习率调度让困惑度平稳下降 理解等级:中级 普通读书笔记卡
  11. 微调要防过拟合与脏数据 理解等级:中级 普通读书笔记卡

03 BERT模型核心实现与预训练

10 张卡片
  1. 编码器堆叠层层递进 理解等级:中级 结构图卡
  2. 双向语境而非单向预测 理解等级:中级 普通读书笔记卡
  3. 输出形状三层不变 理解等级:初级 普通读书笔记卡
  4. 掩码预测作为预训练任务 理解等级:中级 结构图卡
  5. 掩码的三种替换处理 理解等级:中级 普通读书笔记卡
  6. 负一百标记忽略非掩码位 理解等级:中级 普通读书笔记卡
  7. 掩码填空的三步链路 理解等级:初级 结构图卡
  8. 微调只换一个分类头 理解等级:中级 普通读书笔记卡
  9. 四比一划分与双集评估 理解等级:初级 普通读书笔记卡
  10. 输出层铺满整个词表 理解等级:中级 普通读书笔记卡

04 ViT模型

10 张卡片
  1. 图像切块成序列 理解等级:初级 结构图卡
  2. 卷积核完成分块嵌入 理解等级:中级 普通读书笔记卡
  3. CLS与位置编码补全输入 理解等级:中级 普通读书笔记卡
  4. 自注意力捕捉区域关联 理解等级:中级 普通读书笔记卡
  5. 多头并行多角度特征 理解等级:中级 普通读书笔记卡
  6. 无卷积的全局建模 理解等级:中级 普通读书笔记卡
  7. 注意力均值方差量化 理解等级:高级 结构图卡
  8. 分类头决定输出类别数 理解等级:初级 普通读书笔记卡
  9. 五轮训练与验证曲线 理解等级:初级 普通读书笔记卡
  10. ViT延续编解码骨架 理解等级:中级 普通读书笔记卡

05 高阶微调策略:Adapter Tuning与P-Tuning

10 张卡片
  1. Adapter微调的瓶颈与残差 理解等级:中级 普通读书笔记卡
  2. Adapter插在层间何处 理解等级:中级 结构图卡
  3. LoRA的低秩分解机制 理解等级:中级 普通读书笔记卡
  4. 两条增量路线的落点 理解等级:高级 结构图卡
  5. 冻结主干只训软提示 理解等级:中级 普通读书笔记卡
  6. P-Tuning学提示序列 理解等级:中级 普通读书笔记卡
  7. 提示向量如何拼入输入 理解等级:高级 结构图卡
  8. 提示掩码为何必须扩展 理解等级:高级 普通读书笔记卡
  9. 双重提示叠加微调 理解等级:中级 普通读书笔记卡
  10. 四条高效微调路线 理解等级:高级 普通读书笔记卡

06 数据处理与数据增强

11 张卡片
  1. 文本预处理的六个动作 理解等级:初级 普通读书笔记卡
  2. 中文预处理的两个要点 理解等级:中级 普通读书笔记卡
  3. 预处理与清洗的分工 理解等级:中级 普通读书笔记卡
  4. 中文清洗的七步流水线 理解等级:中级 结构图卡
  5. 同义词替换如何增强 理解等级:中级 普通读书笔记卡
  6. 随机插入的增强逻辑 理解等级:中级 普通读书笔记卡
  7. 随机删除与顺序交换 理解等级:中级 普通读书笔记卡
  8. 四类文本增强方法 理解等级:中级 结构图卡
  9. BPE的迭代合并机制 理解等级:高级 普通读书笔记卡
  10. 词向量生成与PCA降维 理解等级:中级 普通读书笔记卡
  11. 数据增强的语义底线 理解等级:高级 普通读书笔记卡

07 模型性能优化:混合精度训练与分布式训练

12 张卡片
  1. 混合精度的精度分工 理解等级:初级 结构图卡
  2. 损失缩放避免梯度下溢 理解等级:中级 普通读书笔记卡
  3. autocast自动选精度 理解等级:中级 普通读书笔记卡
  4. 分布式训练的五步骨架 理解等级:中级 普通读书笔记卡
  5. 分布式采样器切分数据 理解等级:中级 普通读书笔记卡
  6. DDP各进程算梯度再同步 理解等级:中级 普通读书笔记卡
  7. 数据并行与模型并行对比 理解等级:中级 结构图卡
  8. 模型并行换容量不换速度 理解等级:中级 普通读书笔记卡
  9. 梯度累积攒够再更新 理解等级:初级 结构图卡
  10. 梯度累积的等价边界 理解等级:高级 普通读书笔记卡
  11. 三条显存优化路径的分工 理解等级:中级 普通读书笔记卡
  12. 文本分类中的梯度累积 理解等级:初级 普通读书笔记卡

08 对比学习与对抗训练

12 张卡片
  1. 对比学习拉近正样本推远负样本 理解等级:初级 普通读书笔记卡
  2. 对比损失的正负两项 理解等级:中级 普通读书笔记卡
  3. 数据增强是对比学习的标签 理解等级:中级 普通读书笔记卡
  4. SimCLR的四个组件 理解等级:中级 结构图卡
  5. NT-Xent把对比学习写成分类 理解等级:中级 普通读书笔记卡
  6. 从自监督预训练到下游微调 理解等级:中级 结构图卡
  7. 冻结编码器的收益与上限 理解等级:中级 普通读书笔记卡
  8. GAN的生成与判别博弈 理解等级:中级 结构图卡
  9. 同一个BCE两个相反目标 理解等级:中级 普通读书笔记卡
  10. GAN交替训练的顺序约束 理解等级:高级 普通读书笔记卡
  11. 对抗训练在嵌入层加扰动 理解等级:中级 普通读书笔记卡
  12. 下游指标检验特征质量 理解等级:初级 普通读书笔记卡

09 自适应优化器与动态学习率调度

13 张卡片
  1. AdamW权重衰减抑制过拟合 理解等级:中级 普通读书笔记卡
  2. LAMB 按层控制更新步长 理解等级:中级 结构图卡
  3. 梯度累积用小批量凑大批量 理解等级:中级 结构图卡
  4. 累积步数的稳定性权衡 理解等级:中级 普通读书笔记卡
  5. 线性衰减把学习率踩回低位 理解等级:初级 普通读书笔记卡
  6. 余弦退火先降后升的周期 理解等级:中级 普通读书笔记卡
  7. Warmup 先热身再提速 理解等级:初级 普通读书笔记卡
  8. 预热结束后交给谁 理解等级:中级 结构图卡
  9. 循环学习率周期性推高 理解等级:中级 普通读书笔记卡
  10. 阶梯与指数两种粗调 理解等级:初级 普通读书笔记卡
  11. 指标不降才降学习率 理解等级:中级 普通读书笔记卡
  12. 余弦重启周期逐渐变长 理解等级:中级 普通读书笔记卡
  13. 优化器定步子调度定节奏 理解等级:高级 普通读书笔记卡

10 模型蒸馏与剪枝

12 张卡片
  1. 教师学生与软标签传递 理解等级:中级 结构图卡
  2. 蒸馏损失的两条约束 理解等级:中级 普通读书笔记卡
  3. 温度把教师分布压平 理解等级:高级 普通读书笔记卡
  4. 学生同时学答案与分布 理解等级:中级 普通读书笔记卡
  5. 蒸馏的效率账 理解等级:中级 普通读书笔记卡
  6. 看训练与验证是否同降 理解等级:中级 普通读书笔记卡
  7. 权重剪枝把小的置零 理解等级:中级 普通读书笔记卡
  8. 结构化剪枝整通道删除 理解等级:中级 普通读书笔记卡
  9. 剪枝是训练评调闭环 理解等级:初级 结构图卡
  10. 剪枝比例换精度体积 理解等级:中级 普通读书笔记卡
  11. BERT 剪注意力头与层 理解等级:高级 普通读书笔记卡
  12. 蒸馏换模型剪枝删冗余 理解等级:高级 普通读书笔记卡

11 模型训练实战

10 张卡片
  1. 文本预处理的四道工序 理解等级:初级 结构图卡
  2. 集合去重会丢掉原有顺序 理解等级:中级 普通读书笔记卡
  3. 子词分词的两条路线 理解等级:中级 普通读书笔记卡
  4. 一进程一卡的数据并行 理解等级:中级 普通读书笔记卡
  5. gloo与NCCL的适用场景 理解等级:中级 普通读书笔记卡
  6. 检查点必须带上优化器状态 理解等级:中级 普通读书笔记卡
  7. 让损失曲线看得见 理解等级:初级 普通读书笔记卡
  8. 断点续训的保存与加载闭环 理解等级:中级 结构图卡
  9. 案例准确率该怎么读 理解等级:高级 普通读书笔记卡
  10. IMDB分类的五段训练链 理解等级:中级 结构图卡

12 模型微调实战

10 张卡片
  1. 少样本数据的清洗与三分 理解等级:初级 普通读书笔记卡
  2. 同义词替换与随机插入做增强 理解等级:中级 普通读书笔记卡
  3. 冻结底层,解冻顶层 理解等级:中级 结构图卡
  4. 权重衰减压制过拟合 理解等级:中级 普通读书笔记卡
  5. 微调学习率为何取2e-5 理解等级:中级 普通读书笔记卡
  6. 调度器让学习率逐步下降 理解等级:中级 普通读书笔记卡
  7. 准确率不够,要看四个指标 理解等级:中级 普通读书笔记卡
  8. 动态量化只压Linear层 理解等级:高级 普通读书笔记卡
  9. 蒸馏用KL散度对齐分布 理解等级:高级 普通读书笔记卡
  10. 微调全流程的四段接力 理解等级:中级 结构图卡

全书概览

从零构建大模型:算法、训练与微调

执行模式:light

建档进度:done

Skill 版本:v24

整体评级

四象限结论:经典原理(高信息浓度 + 高稳定性)

本书不是调包式教程,而是把每个部件拆开讲清“为什么这样设计”:自注意力的点积为何要除以 sqrt(d_k)、多头为何要分头再拼接、残差与层归一化分别解决堆深时的什么病、位置编码为何用正弦余弦而不额外加参数、LoRA 为何能用低秩近似替代全参数微调、梯度累积在什么条件下等价于大批量。这些判断依据属于结构与数值上的约束,不随 PyTorch 版本变化。

需要打折看待的是工程时效性:书中的代码示例以图片形式给出,PyTorch 与 transformers 的 API、分布式启动方式、混合精度接口都会随版本调整;第 11、12 章的 IMDB 与 BERT 微调案例中的具体指标也只是特定设置下的观测值。原理耐用,命令与版本号不耐用。

主形态:概念解析型(以解释机制与实现思路为主,代码分步演示为辅,未按操作对象罗列 API)。

整书笔记

阅读正文、章节讲解、全书主线、跨章综合与全部卡片/原文定位见 _book_note.md。覆盖与候选取舍见 _coverage.md。

章节进度追踪

章节号 章节标题 状态(pending/done) 卡片数
00 引言 done 0
01 Transformer模型基础 done 0
02 GPT模型文本生成核心原理与实现 done 0
03 BERT模型核心实现与预训练 done 0
04 ViT模型 done 0
05 高阶微调策略:Adapter Tuning与P-Tuning done 0
06 数据处理与数据增强 done 0
07 模型性能优化:混合精度训练与分布式训练 done 0
08 对比学习与对抗训练 done 0
09 自适应优化器与动态学习率调度 done 0
10 模型蒸馏与剪枝 done 0
11 模型训练实战 done 0
12 模型微调实战 done 0

合计 135 张知识卡(含引言 3 张;前言为零卡章)。

非正文排除

spine项 类型 排除理由
spine[0] titlepage.xhtml 封面 仅 “Cover” 字样,无正文
spine[1] cover.xhtml 书名页 书名与作者,无知识内容
spine[2] cov1_1 封面图 单张图片页
spine[3] Copyright.xhtml 版权页 书名、作者、出版社、出版时间等版权信息
spine[4] chapter001.xhtml 作者简介 作者履历,无技术内容
spine[5] chapter002.xhtml 内容简介 图书宣传与卖点摘要,无展开讲解
spine[89] daima.xhtml 字体版权声明 Adobe 字体许可声明,无正文

前言(spine[6])与引言(spine[7])含实质内容,已纳入正文计划;前言为零卡章,理由见 _coverage.md。

待关联术语

术语名 出现章节 一句话语境
Casual Tokenizer 与 Casual 3D CNN 分词器 01 正文点名并配架构图,未展开分词规则与卷积结构。
旋转词向量嵌入层 01 图1-4 给出结构,文字未说明其机制。
BLEU 的 smoothing_function 02 代码解析中提到用平滑处理低频词,未展开具体平滑方法。
optimizer.zero_grad 与 optimizer.step 02 仅出现在思考题中,正文未展开其作用。
CIFAR-10 与 ResNet-18 的预处理细节 07 示例所用数据集与骨干网络,原文一句带过。
IMDB 与 TorchText 分词器配置 07 只说明使用基本英文分词器并转词表索引,未给参数与词表规模。
t-SNE 降维原理 08 作为聚类效果的可视化手段提及,未展开算法。
余弦相似度与欧氏距离的数学形式 08 提到两类相似度度量及余弦取值范围,未给公式推导。
DistributedDataParallel 11 11.2 节出现一次并直接用于示例,其机制已并入「一进程一卡的数据并行」卡。

引用文献

标题 类型(书/论文/框架/源码项目) 出现章节 一句话语境
Attention Is All You Need 论文 00 引言说明 Transformer 出自该论文,未介绍其具体贡献。
GPT-4 框架 00 引言以参数量与多模态能力举例,未展开架构。
PaLM 框架 00 引言作为超大规模模型代表提及。
DALL·E 框架 00 引言作为多模态生成代表提及。
CLIP 框架 00 引言作为跨模态检索代表提及。
T5 框架 00 引言以「统一为文本到文本」一句带过,未讲训练目标与数据格式。

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明
— 无 — 全书 本书讨论模型结构与训练机制,未涉及转账、扣款、库存等资金安全场景。

实践卡进度

序号 实践标题 实践方式 状态(pending/done) 关联章节 产出
001 参数高效微调三法比较 横向学习 done 05 ideas/idea-001-peft-three-way-compare.md(对照表与选型备忘待产出)
002 学习率调度曲线小实验 最小实验 done 09 ideas/idea-002-lr-schedule-mini-experiment.md(四曲线对比图与结论待产出)
003 用清洗清单过一遍自有语料 真实任务 done 06 ideas/idea-003-clean-own-corpus.md(清洗脚本与分步指标表待产出)

实践候选筛选:done

未采用候选:① 环境搭建命令序列——随 CUDA/PyTorch 版本失效,且不产生可检查的现实成果;② 逐章代码复现——本书代码以图片给出,无法逐行核对,复现成本高于收益,改以 001 的横向比较承担理解任务;③ 知识蒸馏与剪枝的实验——需较大教师模型与算力,超出单轮可完成范围,留作后续。优先执行 001(成本最低、直接服务选型)与 002(可用小模型在一小时内跑完)。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。