来源书籍
从零构建大模型:算法、训练与微调
章节与卡片
00 大模型技术的发展与开发环境
3 张卡片
- 大模型技术的四段演进 理解等级:中级 普通读书笔记卡
- 自注意力取代循环的三个理由 理解等级:高级 普通读书笔记卡
- 预训练微调的三种架构路线 理解等级:中级 普通读书笔记卡
01 Transformer模型基础
11 张卡片
- 编码器读全句,解码器逐词生成 理解等级:初级 结构图卡
- 教师强制用真实标签喂解码器 理解等级:中级 普通读书笔记卡
- 分词器把句子切成索引序列 理解等级:初级 普通读书笔记卡
- 嵌入层把词索引映射为稠密向量 理解等级:初级 普通读书笔记卡
- 自注意力用点积衡量词间相关度 理解等级:中级 结构图卡
- 多头注意力在多个子空间并行关注 理解等级:中级 结构图卡
- 形状一致让模块可以逐层堆叠 理解等级:中级 普通读书笔记卡
- 残差连接用捷径保住梯度 理解等级:中级 普通读书笔记卡
- 层归一化按特征维度标准化 理解等级:中级 普通读书笔记卡
- 正弦位置编码给词注入顺序感 理解等级:中级 普通读书笔记卡
- 打乱词序后位置编码仍区分次序 理解等级:中级 普通读书笔记卡
02 GPT模型文本生成核心原理与实现
11 张卡片
- 层堆叠靠注意力与前馈逐层抽象 理解等级:中级 结构图卡
- 单向掩码只让模型看到过去 理解等级:中级 结构图卡
- GPT按提示词循环预测下一个词 理解等级:初级 结构图卡
- 贪心搜索每步只取最高概率词 理解等级:初级 普通读书笔记卡
- 束搜索保留多条候选路径 理解等级:中级 普通读书笔记卡
- BLEU用n元组重合算精确率 理解等级:中级 普通读书笔记卡
- ROUGE用召回率衡量内容覆盖 理解等级:中级 普通读书笔记卡
- 困惑度是交叉熵损失取指数 理解等级:中级 普通读书笔记卡
- 困惑度低不等于文本质量高 理解等级:高级 普通读书笔记卡
- 学习率调度让困惑度平稳下降 理解等级:中级 普通读书笔记卡
- 微调要防过拟合与脏数据 理解等级:中级 普通读书笔记卡
03 BERT模型核心实现与预训练
10 张卡片
- 编码器堆叠层层递进 理解等级:中级 结构图卡
- 双向语境而非单向预测 理解等级:中级 普通读书笔记卡
- 输出形状三层不变 理解等级:初级 普通读书笔记卡
- 掩码预测作为预训练任务 理解等级:中级 结构图卡
- 掩码的三种替换处理 理解等级:中级 普通读书笔记卡
- 负一百标记忽略非掩码位 理解等级:中级 普通读书笔记卡
- 掩码填空的三步链路 理解等级:初级 结构图卡
- 微调只换一个分类头 理解等级:中级 普通读书笔记卡
- 四比一划分与双集评估 理解等级:初级 普通读书笔记卡
- 输出层铺满整个词表 理解等级:中级 普通读书笔记卡
04 ViT模型
10 张卡片
- 图像切块成序列 理解等级:初级 结构图卡
- 卷积核完成分块嵌入 理解等级:中级 普通读书笔记卡
- CLS与位置编码补全输入 理解等级:中级 普通读书笔记卡
- 自注意力捕捉区域关联 理解等级:中级 普通读书笔记卡
- 多头并行多角度特征 理解等级:中级 普通读书笔记卡
- 无卷积的全局建模 理解等级:中级 普通读书笔记卡
- 注意力均值方差量化 理解等级:高级 结构图卡
- 分类头决定输出类别数 理解等级:初级 普通读书笔记卡
- 五轮训练与验证曲线 理解等级:初级 普通读书笔记卡
- ViT延续编解码骨架 理解等级:中级 普通读书笔记卡
05 高阶微调策略:Adapter Tuning与P-Tuning
10 张卡片
- Adapter微调的瓶颈与残差 理解等级:中级 普通读书笔记卡
- Adapter插在层间何处 理解等级:中级 结构图卡
- LoRA的低秩分解机制 理解等级:中级 普通读书笔记卡
- 两条增量路线的落点 理解等级:高级 结构图卡
- 冻结主干只训软提示 理解等级:中级 普通读书笔记卡
- P-Tuning学提示序列 理解等级:中级 普通读书笔记卡
- 提示向量如何拼入输入 理解等级:高级 结构图卡
- 提示掩码为何必须扩展 理解等级:高级 普通读书笔记卡
- 双重提示叠加微调 理解等级:中级 普通读书笔记卡
- 四条高效微调路线 理解等级:高级 普通读书笔记卡
06 数据处理与数据增强
11 张卡片
- 文本预处理的六个动作 理解等级:初级 普通读书笔记卡
- 中文预处理的两个要点 理解等级:中级 普通读书笔记卡
- 预处理与清洗的分工 理解等级:中级 普通读书笔记卡
- 中文清洗的七步流水线 理解等级:中级 结构图卡
- 同义词替换如何增强 理解等级:中级 普通读书笔记卡
- 随机插入的增强逻辑 理解等级:中级 普通读书笔记卡
- 随机删除与顺序交换 理解等级:中级 普通读书笔记卡
- 四类文本增强方法 理解等级:中级 结构图卡
- BPE的迭代合并机制 理解等级:高级 普通读书笔记卡
- 词向量生成与PCA降维 理解等级:中级 普通读书笔记卡
- 数据增强的语义底线 理解等级:高级 普通读书笔记卡
07 模型性能优化:混合精度训练与分布式训练
12 张卡片
- 混合精度的精度分工 理解等级:初级 结构图卡
- 损失缩放避免梯度下溢 理解等级:中级 普通读书笔记卡
- autocast自动选精度 理解等级:中级 普通读书笔记卡
- 分布式训练的五步骨架 理解等级:中级 普通读书笔记卡
- 分布式采样器切分数据 理解等级:中级 普通读书笔记卡
- DDP各进程算梯度再同步 理解等级:中级 普通读书笔记卡
- 数据并行与模型并行对比 理解等级:中级 结构图卡
- 模型并行换容量不换速度 理解等级:中级 普通读书笔记卡
- 梯度累积攒够再更新 理解等级:初级 结构图卡
- 梯度累积的等价边界 理解等级:高级 普通读书笔记卡
- 三条显存优化路径的分工 理解等级:中级 普通读书笔记卡
- 文本分类中的梯度累积 理解等级:初级 普通读书笔记卡
08 对比学习与对抗训练
12 张卡片
- 对比学习拉近正样本推远负样本 理解等级:初级 普通读书笔记卡
- 对比损失的正负两项 理解等级:中级 普通读书笔记卡
- 数据增强是对比学习的标签 理解等级:中级 普通读书笔记卡
- SimCLR的四个组件 理解等级:中级 结构图卡
- NT-Xent把对比学习写成分类 理解等级:中级 普通读书笔记卡
- 从自监督预训练到下游微调 理解等级:中级 结构图卡
- 冻结编码器的收益与上限 理解等级:中级 普通读书笔记卡
- GAN的生成与判别博弈 理解等级:中级 结构图卡
- 同一个BCE两个相反目标 理解等级:中级 普通读书笔记卡
- GAN交替训练的顺序约束 理解等级:高级 普通读书笔记卡
- 对抗训练在嵌入层加扰动 理解等级:中级 普通读书笔记卡
- 下游指标检验特征质量 理解等级:初级 普通读书笔记卡
09 自适应优化器与动态学习率调度
13 张卡片
- AdamW权重衰减抑制过拟合 理解等级:中级 普通读书笔记卡
- LAMB 按层控制更新步长 理解等级:中级 结构图卡
- 梯度累积用小批量凑大批量 理解等级:中级 结构图卡
- 累积步数的稳定性权衡 理解等级:中级 普通读书笔记卡
- 线性衰减把学习率踩回低位 理解等级:初级 普通读书笔记卡
- 余弦退火先降后升的周期 理解等级:中级 普通读书笔记卡
- Warmup 先热身再提速 理解等级:初级 普通读书笔记卡
- 预热结束后交给谁 理解等级:中级 结构图卡
- 循环学习率周期性推高 理解等级:中级 普通读书笔记卡
- 阶梯与指数两种粗调 理解等级:初级 普通读书笔记卡
- 指标不降才降学习率 理解等级:中级 普通读书笔记卡
- 余弦重启周期逐渐变长 理解等级:中级 普通读书笔记卡
- 优化器定步子调度定节奏 理解等级:高级 普通读书笔记卡
10 模型蒸馏与剪枝
12 张卡片
- 教师学生与软标签传递 理解等级:中级 结构图卡
- 蒸馏损失的两条约束 理解等级:中级 普通读书笔记卡
- 温度把教师分布压平 理解等级:高级 普通读书笔记卡
- 学生同时学答案与分布 理解等级:中级 普通读书笔记卡
- 蒸馏的效率账 理解等级:中级 普通读书笔记卡
- 看训练与验证是否同降 理解等级:中级 普通读书笔记卡
- 权重剪枝把小的置零 理解等级:中级 普通读书笔记卡
- 结构化剪枝整通道删除 理解等级:中级 普通读书笔记卡
- 剪枝是训练评调闭环 理解等级:初级 结构图卡
- 剪枝比例换精度体积 理解等级:中级 普通读书笔记卡
- BERT 剪注意力头与层 理解等级:高级 普通读书笔记卡
- 蒸馏换模型剪枝删冗余 理解等级:高级 普通读书笔记卡
11 模型训练实战
10 张卡片
- 文本预处理的四道工序 理解等级:初级 结构图卡
- 集合去重会丢掉原有顺序 理解等级:中级 普通读书笔记卡
- 子词分词的两条路线 理解等级:中级 普通读书笔记卡
- 一进程一卡的数据并行 理解等级:中级 普通读书笔记卡
- gloo与NCCL的适用场景 理解等级:中级 普通读书笔记卡
- 检查点必须带上优化器状态 理解等级:中级 普通读书笔记卡
- 让损失曲线看得见 理解等级:初级 普通读书笔记卡
- 断点续训的保存与加载闭环 理解等级:中级 结构图卡
- 案例准确率该怎么读 理解等级:高级 普通读书笔记卡
- IMDB分类的五段训练链 理解等级:中级 结构图卡
12 模型微调实战
10 张卡片
- 少样本数据的清洗与三分 理解等级:初级 普通读书笔记卡
- 同义词替换与随机插入做增强 理解等级:中级 普通读书笔记卡
- 冻结底层,解冻顶层 理解等级:中级 结构图卡
- 权重衰减压制过拟合 理解等级:中级 普通读书笔记卡
- 微调学习率为何取2e-5 理解等级:中级 普通读书笔记卡
- 调度器让学习率逐步下降 理解等级:中级 普通读书笔记卡
- 准确率不够,要看四个指标 理解等级:中级 普通读书笔记卡
- 动态量化只压Linear层 理解等级:高级 普通读书笔记卡
- 蒸馏用KL散度对齐分布 理解等级:高级 普通读书笔记卡
- 微调全流程的四段接力 理解等级:中级 结构图卡
全书概览
从零构建大模型:算法、训练与微调
执行模式:light
建档进度:done
Skill 版本:v24
整体评级
四象限结论:经典原理(高信息浓度 + 高稳定性)
本书不是调包式教程,而是把每个部件拆开讲清“为什么这样设计”:自注意力的点积为何要除以 sqrt(d_k)、多头为何要分头再拼接、残差与层归一化分别解决堆深时的什么病、位置编码为何用正弦余弦而不额外加参数、LoRA 为何能用低秩近似替代全参数微调、梯度累积在什么条件下等价于大批量。这些判断依据属于结构与数值上的约束,不随 PyTorch 版本变化。
需要打折看待的是工程时效性:书中的代码示例以图片形式给出,PyTorch 与 transformers 的 API、分布式启动方式、混合精度接口都会随版本调整;第 11、12 章的 IMDB 与 BERT 微调案例中的具体指标也只是特定设置下的观测值。原理耐用,命令与版本号不耐用。
主形态:概念解析型(以解释机制与实现思路为主,代码分步演示为辅,未按操作对象罗列 API)。
整书笔记
阅读正文、章节讲解、全书主线、跨章综合与全部卡片/原文定位见 _book_note.md。覆盖与候选取舍见 _coverage.md。
章节进度追踪
| 章节号 | 章节标题 | 状态(pending/done) | 卡片数 |
|---|---|---|---|
| 00 | 引言 | done | 0 |
| 01 | Transformer模型基础 | done | 0 |
| 02 | GPT模型文本生成核心原理与实现 | done | 0 |
| 03 | BERT模型核心实现与预训练 | done | 0 |
| 04 | ViT模型 | done | 0 |
| 05 | 高阶微调策略:Adapter Tuning与P-Tuning | done | 0 |
| 06 | 数据处理与数据增强 | done | 0 |
| 07 | 模型性能优化:混合精度训练与分布式训练 | done | 0 |
| 08 | 对比学习与对抗训练 | done | 0 |
| 09 | 自适应优化器与动态学习率调度 | done | 0 |
| 10 | 模型蒸馏与剪枝 | done | 0 |
| 11 | 模型训练实战 | done | 0 |
| 12 | 模型微调实战 | done | 0 |
合计 135 张知识卡(含引言 3 张;前言为零卡章)。
非正文排除
| spine项 | 类型 | 排除理由 |
|---|---|---|
| spine[0] titlepage.xhtml | 封面 | 仅 “Cover” 字样,无正文 |
| spine[1] cover.xhtml | 书名页 | 书名与作者,无知识内容 |
| spine[2] cov1_1 | 封面图 | 单张图片页 |
| spine[3] Copyright.xhtml | 版权页 | 书名、作者、出版社、出版时间等版权信息 |
| spine[4] chapter001.xhtml | 作者简介 | 作者履历,无技术内容 |
| spine[5] chapter002.xhtml | 内容简介 | 图书宣传与卖点摘要,无展开讲解 |
| spine[89] daima.xhtml | 字体版权声明 | Adobe 字体许可声明,无正文 |
前言(spine[6])与引言(spine[7])含实质内容,已纳入正文计划;前言为零卡章,理由见 _coverage.md。
待关联术语
| 术语名 | 出现章节 | 一句话语境 |
|---|---|---|
| Casual Tokenizer 与 Casual 3D CNN 分词器 | 01 | 正文点名并配架构图,未展开分词规则与卷积结构。 |
| 旋转词向量嵌入层 | 01 | 图1-4 给出结构,文字未说明其机制。 |
| BLEU 的 smoothing_function | 02 | 代码解析中提到用平滑处理低频词,未展开具体平滑方法。 |
| optimizer.zero_grad 与 optimizer.step | 02 | 仅出现在思考题中,正文未展开其作用。 |
| CIFAR-10 与 ResNet-18 的预处理细节 | 07 | 示例所用数据集与骨干网络,原文一句带过。 |
| IMDB 与 TorchText 分词器配置 | 07 | 只说明使用基本英文分词器并转词表索引,未给参数与词表规模。 |
| t-SNE 降维原理 | 08 | 作为聚类效果的可视化手段提及,未展开算法。 |
| 余弦相似度与欧氏距离的数学形式 | 08 | 提到两类相似度度量及余弦取值范围,未给公式推导。 |
| DistributedDataParallel | 11 | 11.2 节出现一次并直接用于示例,其机制已并入「一进程一卡的数据并行」卡。 |
引用文献
| 标题 | 类型(书/论文/框架/源码项目) | 出现章节 | 一句话语境 |
|---|---|---|---|
| Attention Is All You Need | 论文 | 00 | 引言说明 Transformer 出自该论文,未介绍其具体贡献。 |
| GPT-4 | 框架 | 00 | 引言以参数量与多模态能力举例,未展开架构。 |
| PaLM | 框架 | 00 | 引言作为超大规模模型代表提及。 |
| DALL·E | 框架 | 00 | 引言作为多模态生成代表提及。 |
| CLIP | 框架 | 00 | 引言作为跨模态检索代表提及。 |
| T5 | 框架 | 00 | 引言以「统一为文本到文本」一句带过,未讲训练目标与数据格式。 |
资金安全问题案例
| 问题标题 | 问题卡 | 解决方案卡(如有) | 出现章节 | 一句话说明 |
|---|---|---|---|---|
| — | 无 | — | 全书 | 本书讨论模型结构与训练机制,未涉及转账、扣款、库存等资金安全场景。 |
实践卡进度
| 序号 | 实践标题 | 实践方式 | 状态(pending/done) | 关联章节 | 产出 |
|---|---|---|---|---|---|
| 001 | 参数高效微调三法比较 | 横向学习 | done | 05 | ideas/idea-001-peft-three-way-compare.md(对照表与选型备忘待产出) |
| 002 | 学习率调度曲线小实验 | 最小实验 | done | 09 | ideas/idea-002-lr-schedule-mini-experiment.md(四曲线对比图与结论待产出) |
| 003 | 用清洗清单过一遍自有语料 | 真实任务 | done | 06 | ideas/idea-003-clean-own-corpus.md(清洗脚本与分步指标表待产出) |
实践候选筛选:done
未采用候选:① 环境搭建命令序列——随 CUDA/PyTorch 版本失效,且不产生可检查的现实成果;② 逐章代码复现——本书代码以图片给出,无法逐行核对,复现成本高于收益,改以 001 的横向比较承担理解任务;③ 知识蒸馏与剪枝的实验——需较大教师模型与算力,超出单轮可完成范围,留作后续。优先执行 001(成本最低、直接服务选型)与 002(可用小模型在一小时内跑完)。
相关主题
从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。
暂无公开主题。