来源书籍

从零构建大模型:算法、训练与微调

Skill 版本:v24 经典原理**(高信息浓度 + 高稳定性) 135 张卡片

梁楠 · 清华大学出版社 · 2025-04 · ISBN 9787302685616

全书导读

这本书要回答的问题是:一个能写文章、能分类、能看懂图片的大模型,究竟由哪些零件组成,这些零件为什么这样设计,又怎样在有限的显存和时间里把它们训练起来。全书 12 章沿着“结构—模型—优化—实战”四层推进:第 1 章拆开 Transformer 的每一个组件;第 2~4 章分别用 GPT、BERT、ViT 把组件组装成三类主流模型;第 5~10 章讨论怎样用更少的参数、更少的数据、更少的精度代价把模型调好、训快、压小;第 11、12 章把前面的技术串成一条可执行的训练与微调流水线。

阅读时值得留意两点。第一,作者的讲解顺序是有依赖的:位置编码、残差与层归一化如果不理解,后面读 GPT 的层堆叠就只是抄结构;Adapter、LoRA 如果不清楚“微调到底在改哪些参数”,就只能记住名词。第二,书中代码示例在 EPUB 中以图片给出,正文负责解释每一步在做什么、为什么这样做,读代码时应对照正文的机制说明,而不是只看调用顺序。

本书属于概念解析型:以解释机制和实现思路为主,配以分步代码。评级与取舍见 _overview.md,逐章阅读证据见 _coverage.md。

全书主线

全书的主线可以概括为一条“表示—注意力—堆叠—训练—压缩”的链条。

表示是把文字或图像变成数值。分词把文本切成词表单元,嵌入层把离散索引换成稠密向量,位置编码再补上序列顺序。到这一步,模型拿到的是一组带位置信息的向量,但向量之间还没有交互。

注意力负责让向量互相看见。每个位置生成查询、键、值,用查询与键的点积算相关度,softmax 归一化后加权求和,于是任意两个位置之间有了直接通路。多头把这件事在多个子空间并行做,残差与层归一化保证这种结构可以堆很多层而不退化。

堆叠是把上述模块组装成模型。GPT 用带因果掩码的解码器堆叠做自回归生成;BERT 用双向编码器堆叠配合掩码语言模型做理解;ViT 把图像切成块当作 token,直接复用同一套编码器。三者共用内核,差别在于掩码方式、训练目标和输入的组织形式。

训练是把堆叠起来的参数调到可用。混合精度、分布式并行、梯度累积解决“装不下、跑不快”;AdamW、LAMB 与 Warmup、余弦衰减解决“收敛不稳”;对比学习与对抗训练则从数据角度提升泛化与鲁棒性。

压缩与适配是在模型可用之后降低成本:Adapter、LoRA、P-Tuning 只训练极少量参数就能适配新任务;知识蒸馏把大模型的能力迁移给小模型;剪枝直接删掉冗余权重。第 11、12 章把这条链条落到两个完整案例上——大规模预训练与 BERT 微调。

前言

前言交代了全书的组织逻辑与读者定位:面向希望系统掌握大模型构建、训练与优化的研发人员与高校学生,按“基础构建模块 → 主流模型剖析 → 优化与微调 → 实战案例”的顺序安排 12 章,每章配完整代码示例与注释。它本身不提出新的技术结论,作用是为后续章节提供路线图——读到某一章时可以回到这里确认它在全书中的位置。

前言没有产生知识卡:它的内容是章节导览与写作目的,不构成可独立迁移的知识单元。

引言

引言做两件事:梳理大模型的技术来路,以及交代动手前的环境准备。

技术来路是一条“能力与限制互相推动”的线:规则与统计学习(HMM、CRF)解决了数据驱动的问题,但对复杂上下文理解有限;RNN、LSTM、GRU 用循环与门控建模序列,却必须逐步迭代、无法并行;Transformer 用自注意力同时拿到并行性与任意位置直连的能力;此后的 BERT、GPT、T5 把“预训练 + 微调”变成了标准范式,模型规模也从百万级推到千亿级,并延伸到多模态。

环境部分给出 GPU、内存、存储的推荐配置,Python 与 PyTorch、Transformers、Datasets 等依赖的安装方式,以及四类常见故障的处理:CUDA 版本不匹配、依赖冲突、显存不足(可减小批大小或用梯度累积)、数据集下载缓慢(配置镜像源)。这部分内容随版本变化较快,本书只把它作为起跑线,其中“显存不足可用梯度累积换取等效批大小”的思路在第 7 章有专门的机制讲解,见 [[梯度累积攒够再更新]]。

引言的卡片集中在技术演进:[[大模型技术的四段演进]] 给出阶段划分,[[自注意力取代循环的三个理由]] 解释架构更替的动因,[[预训练微调的三种架构路线]] 对比 BERT、GPT、T5 的分工。环境配置的具体命令未单独成卡——它们属于会随工具版本失效的操作细节,需要时按官方文档执行即可。

本章其余卡片:大模型技术的四段演进、自注意力取代循环的三个理由、预训练微调的三种架构路线。

原书依据 · 3 处

第01章 Transformer模型基础

本章要回答的是一个很具体的问题:一段文字怎样才能被网络读懂,并且读的时候还能照顾到词与词之间的关系。答案被拆成了一条流水线。文字先经过分词器变成词汇表里的整数索引,索引没有大小含义,只起查表地址的作用;嵌入层把每个索引换成一行可训练的稠密向量,语义才开始出现在数值里,嵌入层把词索引映射为稠密向量 说的就是这次转换。到此为止,模型看到的仍是一袋词——顺序信息还没有任何位置存放。

在进入注意力之前,本章先用 Seq2Seq 立起任务框架:编码器读完整句,把最后一个隐藏状态当作整句的定长表示交给解码器,解码器再一步一步写出目标序列,编码器读全句,解码器逐词生成 描述了这个接力过程。这个框架的优点是与任务无关,翻译、摘要、问答都能套用;短处同样明显,整句被压进一个固定长度向量,长句的前段信息容易被稀释,而且解码只能串行。训练时用真实标签替代模型自己的上一步输出可以加快收敛,教师强制用真实标签喂解码器 也提醒了它的代价:训练与推理的输入来源并不一致。

自注意力是对上述短处的直接回应。它为每个位置生成查询、键、值三组向量,用查询与所有键的点积衡量相关度,softmax 归一化成权重后对值加权求和,于是任意两个位置之间都有了一条直接通路,不必逐时间步传递,自注意力用点积衡量词间相关度 把这一计算拆成四步。单头只能给出一种关注模式,多头便把特征维切成若干份,让每个子空间各自算一遍再拼接,多头注意力在多个子空间并行关注 解释了这种分工以及头数必须整除嵌入维度的约束。这两节也是全书后面所有模型结构的共同内核。

剩下两个组件解决的是“能不能堆深”和“顺序从哪来”。残差连接把输入直接加到变换结果上,反向传播时梯度里始终保留一个恒等项,深层参数因此不会停止更新;层归一化对单个样本的特征维做标准化,再用可学习的缩放与偏置调整,避免小批量、变长序列下统计量不稳的问题,残差连接用捷径保住梯度 与 层归一化按特征维度标准化 分别对应这两条。位置编码则是给自注意力补上它天生缺失的维度:为每个位置生成一个同维向量并与词嵌入相加,正弦余弦的固定形式不增加参数、具有平移不变性,正弦位置编码给词注入顺序感 说明了这一加法为什么必须同维。把这些模块串起来看,它们共享同一条形状约定——输出与输入同为 [batch_size, seq_length, embed_size],形状一致让模块可以逐层堆叠 正是这种可组合性的来源。第2章要做的,就是把这些模块按“注意力加前馈、外挂残差与归一化”的方式堆成 GPT,并让它一次只预测下一个词。

本章其余卡片:分词器把句子切成索引序列、打乱词序后位置编码仍区分次序。

原书依据 · 11 处

第02章 GPT模型文本生成核心原理与实现

第1章把 Transformer 的零件摆了出来,本章把它们装成一台会写字的机器。装配方式是层堆叠:每个块先做自注意力,让不同位置交换信息,再做前馈网络,对每个位置独立地做非线性变换,两条支路都外挂残差与层归一化,层堆叠靠注意力与前馈逐层抽象 说明了这种分工——注意力负责横向混合,前馈负责纵向加工,残差与归一化负责让几十层能训得动。堆叠之后,低层捕捉局部的字面搭配,高层组合出更抽象的语义模式。

与第1章的唯一实质改动,是注意力被加上了掩码。自注意力本身对全序列敞开,这在理解类任务中是优势,在生成任务中却等于提前看到答案。GPT-2 的做法是在 softmax 之前把每个位置右侧的分数置为负无穷,使权重落到零,于是第 t 位只能聚合自己与左侧的内容,单向掩码只让模型看到过去 解释了这条约束为什么必须与“预测下一个词”的训练目标绑定。它决定了模型的全部行为方式:既然每个位置都只依据前缀做判断,推理时就可以把前缀喂进去,让它往后写。

生成因此是一个循环,而不是一次前向。提示词被编码成索引序列,前向算出每个位置上词表的概率分布,按某种策略取出一个词追加到末尾,再用变长的上下文重算下一步,直到达到长度上限或遇到终止符,GPT按提示词循环预测下一个词 描述的就是这条回路。回路中“怎么取词”是唯一可替换的环节:贪心搜索每步只取最高概率词 每步取最大,快但容易陷入局部最优、生成重复;束搜索保留多条候选路径 同时推进若干条假设,用更高的计算与内存换取整体更优的结果。两者的差别不是实现细节,而是优化目标从单步准确率转向整句概率。

模型能写之后,问题变成写得怎么样。本章给出两组尺子。一组是对照参考文本的字面指标:BLEU用n元组重合算精确率 统计生成中有多少 n-gram 出现在参考里,偏精确率;ROUGE用召回率衡量内容覆盖 统计参考中有多少内容被生成覆盖,偏召回率,两者互补但都读不懂语义。另一组是模型自身的 困惑度是交叉熵损失取指数,用交叉熵损失取指数衡量预测难度,不需要人工标注,适合训练中随时监控。它的边界必须记牢:困惑度低不等于文本质量高,拟合得好与读起来好是两件事,所以书中建议与 BLEU、ROUGE 及人工评价并用。

最后一节把评估接回优化。微调的目的不是把困惑度压到最低,而是在目标任务上更准;学习率调度让困惑度平稳下降 用 StepLR 每 10 轮把学习率降到十分之一,让前期大步探索、后期小步精修。与此同时要盯住 微调要防过拟合与脏数据:过拟合让模型记住样本而非规律,表现为新数据上明显变差,对策是低学习率、权重衰减与增加数据多样性;而噪声语料会直接抬高困惑度,清洗数据往往比调超参数更见效。至此,第1章的结构知识被转化为一套可训练、可生成、可评估的流程,为后续大规模模型的微调打下框架。

原书依据 · 11 处

第03章 BERT模型核心实现与预训练

第3章把Transformer的编码器部分单独取出来,做成了一个面向语言理解的预训练模型。BERT不再逐词生成,而是让每个位置同时读取左右两侧的上下文,双向语境因此成为它区别于自回归模型的根本特征。这一取舍带来连锁反应:既然每个词都已看过全句,预测下一个词就失去了意义,训练目标必须换成挖空填词。

掩码语言模型把监督信号从数据本身制造出来。一段无标注文本,随机挑出部分位置做替换,再让模型依据两侧线索还原原词,标签不需要任何人工标注。为了让这套流程真正有效,工程上还有几处配合:被选中的位置按概率分为换成遮掩标记、保留原词、随机换词三种处理,避免预训练与微调之间出现输入形态的错配;标签只在被遮位置写入真实词编号,其余统一填−100,由损失函数跳过;输出层铺满整个词表,使每个位置都得到一份完整的候选词分布。遮掩比例则是一个需要权衡的旋钮,太少则信号稀疏,太多则上下文不足。

预训练得到的编码器并不直接可用,还要经过微调。做法是在编码器之后接一个线性分类层,把句级表示映射到类别数上,用交叉熵训练,让模型把已有的语言理解接到具体任务。数据按四比一拆成训练集与验证集,每个轮次同时记录两份损失与准确率,训练指标上升而验证指标停滞就是过拟合的信号。原文的二分类演示中,三轮之后训练准确率达到0.900、验证0.850,正是这种迁移效果的直观呈现。

放在全书里看,本章是承上启下的一环:它把第1章的注意力与堆叠落到一个可训练的预训练范式上,又为第4章的ViT提供了现成模板——同一套编码器堆叠,只要换掉输入表示,就能从词序列迁移到图像块序列。读懂了掩码、词表分布与分类头这三件事,后面看视觉模型时只是换了数据形态。

本章其余卡片:编码器堆叠层层递进、双向语境而非单向预测、输出形状三层不变、掩码预测作为预训练任务、掩码的三种替换处理、负一百标记忽略非掩码位、掩码填空的三步链路、微调只换一个分类头、四比一划分与双集评估、输出层铺满整个词表。

原书依据 · 10 处

第04章 ViT模型

第4章讨论的是同一套Transformer结构向视觉领域的迁移。图像本身是二维网格,不能直接喂进注意力层,ViT的解法是先切块:把图像分成互不重叠的小块,每块展平后经线性投影变成向量,再拼上分类标识符与位置编码,图像就成了一段可处理的序列。分块粒度决定序列长度,也决定计算开销;这一层卷积核大小等于步幅的写法,把切块与投影合并成了一次运算。

把块序列送进编码器之后,剩下的机制与文本模型几乎一致:自注意力让每个块与所有块直接比较,一层之内建立跨区域关联;多头注意力把这件事拆到多个子空间并行完成,不同头分别捕捉颜色、边缘、纹理等线索。与卷积相比,ViT放弃了局部核与层级扩窗的先验,换来全局建模和跨模态同构,代价是空间结构要靠位置编码显式补回,块边界也会被硬性切断。

训练与评估环节没有特殊之处:图像统一尺寸、转成张量、前向算交叉熵、反向更新,再在验证集上统计损失与准确率。真正有特色的是事后的注意力分析:让每层把权重返回,逐层统计均值与方差,用两组数字描述模型在不同深度对图像区域的关注是分散还是集中。这类量化不改变模型,只是把“模型在看哪里”变成可比较的读数,为解释与优化提供依据。

本章与前后章的接续很清楚:ViT不是新架构,而是第1章Transformer在图像上的复用,线性嵌入、编码器堆叠、分类头三件套原样保留;与第3章BERT又共享同一套“嵌入—注意力—头部”骨架,区别只在输入是块还是词。理解这条主线,再看Swin、DETR等变体时,只需判断它们改动了分块方式、注意力范围还是输出头。

本章其余卡片:图像切块成序列、卷积核完成分块嵌入、CLS与位置编码补全输入、自注意力捕捉区域关联、多头并行多角度特征、无卷积的全局建模、注意力均值方差量化、分类头决定输出类别数、五轮训练与验证曲线、ViT延续编解码骨架。

原书依据 · 10 处

第05章 高阶微调策略:Adapter Tuning与P-Tuning

第5章把视角从“改全部参数”转向“改一点点”。全参数微调要更新整个主干,显存、存储与多任务切换成本都随模型规模上升。本章四种方法的共同骨架是冻结预训练权重,只训练一小块新增参数:Adapter在层间插瓶颈模块,LoRA给权重配低秩增量,Prompt Tuning与P-Tuning则把可训练参数搬到输入端。四条高效微调路线正是这一骨架的展开。

Adapter与LoRA属于“改模型内部”。前者串联在子层之后,靠降维—升维的瓶颈压缩可训练量,再用残差保住原特征(Adapter微调的瓶颈与残差、Adapter插在层间何处);后者并联在权重旁,用两个小矩阵近似权重更新,秩决定容量(LoRA的低秩分解机制)。两者的差别本质是增量落点:一个改数据流,一个改权重贡献(两条增量路线的落点)。

Prompt系列把微调变成“学一段向量”。Prompt Tuning只学加在序列前的软提示,P-Tuning学一段参数化提示序列,二者都要把提示嵌入与输入嵌入拼接,并同步扩展注意力掩码(提示向量如何拼入输入、提示掩码为何必须扩展)。掩码是工程上最容易漏的环节:序列变长而掩码没变,提示位置会被当作填充,参数拿不到梯度。两级提示叠加时,先给任务方向、再细化提示表示,长文本实验即由此验证(双重提示叠加微调)。

本章与前后章的衔接清晰:前一章解决“如何把模型调到任务上”,本章解决“如何用极少参数做到”,下一章则回到更前端,讨论喂给模型的数据如何预处理、清洗与增强。方法再省参数,若训练数据噪声大、表达单一,微调收益依然有限,这正是第6章的出发点。

本章其余卡片:冻结主干只训软提示、P-Tuning学提示序列。

原书依据 · 10 处

第06章 数据处理与数据增强

第6章处理的是模型之前的环节。原始文本来自网页、文档与日志,带着HTML标签、全角符号、大小写混用与重复内容,直接送入模型会把噪声当成特征。本章把这条链路拆成四段:预处理统一格式、清洗提高信息密度、增强扩充表达变体、分词与嵌入把文本变成向量。预处理与清洗的分工是理解全章的第一道分界。

预处理面向形式:去空格、转小写、删标签与数字、清特殊字符、合并空白(文本预处理的六个动作);中文还要额外处理汉字字符集与全角空格(中文预处理的两个要点)。清洗面向内容:在字符层去符号与标点,在词层过滤停用词与重复词(中文清洗的七步流水线)。两者都删信息,区别在于删的是表达差异还是低价值成分。

增强解决的是“样本不够多样”。同义词替换改词形,随机插入加词量,随机删除削减成分,随机交换改变语序(四类文本增强方法)。四类方法都以核心语义不变为底线,越界就会把正确标签变成错误标签(数据增强的语义底线)。它们依赖的资源也不同:替换与插入要查同义词词典,删除与交换只需概率参数。

最后一段是向量化。BPE用迭代合并高频字对构造子词词表,缓解未登录词问题(BPE的迭代合并机制);Word2Vec之类模型把词映射成稠密向量,再用PCA压到二维观察语义聚类(词向量生成与PCA降维)。至此,一段原始文本才变成模型可以计算的输入。

与第5章的关系是上下游:微调方法决定“改多少参数”,数据质量决定“拿什么去改”。参数高效方法对小样本更敏感,清洗与增强做得好,少量样本也能支撑起有效的提示或增量训练。

本章其余卡片:同义词替换如何增强、随机插入的增强逻辑、随机删除与顺序交换。

原书依据 · 11 处

第07章 模型性能优化:混合精度训练与分布式训练

第7章处理的是一个很实际的问题:模型结构定了之后,训练仍然可能跑不起来——不是算法错,而是显存不够、单卡太慢、批次开不大。本章给出的三条路线分别作用在不同层级。混合精度训练是算子级的:矩阵乘、卷积这类运算交给半精度,归一化、损失、参数更新留在全精度,用精度换显存与带宽。它的关键配套是梯度缩放,因为半精度的指数范围窄,微小梯度会被舍入成零,缩放把梯度整体抬回可表示区间,更新前再除回去;缩放因子还要能动态调整,遇到溢出就跳过该步,训练才不会被打断。参见 混合精度的精度分工 与 损失缩放避免梯度下溢。

设备级的方案是多卡并行。分布式训练有一套固定骨架:初始化进程组、切分数据、包装模型、训练循环、清理。骨架里最容易被忽略的是数据切分,采样器保证各进程看到不重叠的样本,并通过对齐批次数来配合梯度同步——只要有一个进程少发一批,整个同步就会挂起。同步本身发生在梯度这一层:各进程用自己的数据算出本地梯度,归约后得到相同梯度,再各自更新,所以日志里损失不同而参数一致。参见 分布式训练的五步骨架 与 DDP各进程算梯度再同步。

并行还可以切在模型维度上。数据并行保持模型完整、切分批次,扩展的是吞吐,前提是单卡装得下;模型并行保持数据完整、切分层,扩展的是容量,代价是中间激活在卡间来回搬运,任一时刻只有一段在算,加速效果往往不如数据并行。这条对比给出了清晰的选择规则:先看装不装得下,再看要不要提速,而不是笼统地问哪个更先进。参见 数据并行与模型并行对比 与 模型并行换容量不换速度。

批次级的方案是梯度累积,它面向单卡显存不足、又想要大批次稳定性的场景。做法是小批次反复前向反向、梯度累加、到边界才更新并清零;损失要按累积步数缩放,否则等效学习率被放大。需要提醒的是“等效大批量”只在梯度层面成立:批内统计、优化器状态更新频率、随机性的作用方式都会变,调参时不能只按名义批次换算。参见 梯度累积攒够再更新 与 梯度累积的等价边界。

三条路线不是并列的技术清单,而是有优先级的排查顺序:先压单步开销,再压瞬时批次,最后才加设备;加了设备之后全局批次变大,学习率与累积步数要回头重算。把它们当作一套资源配比工具,比记 API 更有用。参见 三条显存优化路径的分工。

本章其余卡片:autocast自动选精度、分布式采样器切分数据、文本分类中的梯度累积。

原书依据 · 12 处

第08章 对比学习与对抗训练

第8章讨论的是两类“没有干净监督信号”时的训练策略:一类是根本没有标签,一类是标签齐全但输入可能被扰动。对比学习应对前者,它把监督信号从标注转移到数据构造上——同一张图两次随机增强得到的视图互为为正样本,批次中其他样本的视图为负样本,训练目标是在嵌入空间把前者拉近、后者推远。这个设定一旦成立,数据就可以无限扩充,标签成本归零。参见 对比学习拉近正样本推远负样本 与 数据增强是对比学习的标签。

把这一目标写成损失,通常需要两项:正样本项不断压缩距离,负样本项只在距离小于阈值时才生效,超过阈值就归零。这种非对称设计使模型不必把负样本推到无穷远,训练更稳,注意力集中在真正混淆的样本上。阈值的大小直接决定判别边界的宽松程度,是这类损失最重要的可调参数。参见 对比损失的正负两项。

SimCLR 把上述机制工程化:两次独立增强、共享编码器、投影头、NT-Xent 损失。其中投影头是容易被忽略的设计——它把对比任务的压力从编码器输出转移到专用空间,因此预训练结束后通常只保留编码器,下游接新的分类头微调。两阶段的目标函数完全不同,衔接点是权重而不是模型整体。参见 SimCLR的四个组件 与 [[NT-Xent把对比学习写成分类]],迁移流程见 从自监督预训练到下游微调,冻结与否的取舍见 冻结编码器的收益与上限。

后半章转向生成与鲁棒性。GAN 用两个目标相反的网络互相施压:判别器学区分真伪,生成器学欺骗判别器,训练必须交替进行并在各自阶段冻结另一方,否则优化目标会同时漂移。由于判别器就是可学习的损失函数,GAN 的损失值没有绝对意义,只能靠样本质量判断进展。参见 GAN的生成与判别博弈 与 GAN交替训练的顺序约束。

对抗训练则把这种“制造难例”的思路用在分类任务上:先在嵌入层加小幅扰动生成对抗样本,再让正常样本与对抗样本共同参与训练,使决策边界在局部更平滑。它与数据增强的分水岭在于目标——增强是保标签的随机变换,扰动是朝着让模型出错的方向构造。扰动幅度过小无效、过大则标签失真,这个权衡决定了鲁棒性收益的上限。参见 对抗训练在嵌入层加扰动。

本章其余卡片:NT-Xent把对比学习写成分类、同一个BCE两个相反目标、下游指标检验特征质量。

原书依据 · 12 处

第09章 自适应优化器与动态学习率调度

本章处理的是一个很具体的问题:模型结构已经定下来,参数怎么才能训到位。抓手有三个——优化器决定每一步往哪走、走多大,批量决定这一步用多少样本估计梯度,学习率决定这个步长随训练进程如何变化。三者不是并列的技巧,而是同一条更新规则上的三个旋钮,改动其中一个,另外两个的合适取值也会跟着变。这也是本章先讲优化器、再讲批量、最后讲学习率的顺序来源:前一层定了“一步怎么走”,后一层才好谈“步子怎么随时间变”。

优化器一侧,AdamW权重衰减抑制过拟合 把 Adam 的自适应记忆与权重衰减的“忘记系数”合在一起,让模型不会盲目放大显眼特征,同时保持更新的稳定;LAMB 按层控制更新步长 则用参数模长与更新模长的比值逐层校准,专门对付成千上万样本的超大批量。后者之所以必要,是因为 Adam 只看单参数梯度,在极大批量下各层的相对步幅会失衡,收敛速度与泛化都受影响。两者的共同点是都在“怎么走一步”上做文章,与学习率调度的“步长轨迹”分工不同。

批量一侧,梯度累积用小批量凑大批量 用“多趟搬运”换等效大批量的梯度,省显存不省计算,代价是更新次数按比例减少;累积步数的稳定性权衡 说明步数怎么定——目标批量除以微批量,并指出设成 1 会震荡、设得过大则收敛变慢。这一层的关键是承认硬件约束:当显存无法承载目标批量时,改变的不是模型,而是梯度的估计方式。

学习率一侧先看两条主曲线:线性衰减把学习率踩回低位 单调下行,是按 epoch 均摊降幅;余弦退火先降后升的周期 在触底后回升,末段极小的学习率有利精调,回升则提供一次重启机会。开头要防初期震荡,靠 Warmup 先热身再提速,而 预热结束后交给谁 提醒衔接处的学习率必须连续,否则切换点等于一次隐式重启。长训练用 循环学习率周期性推高 定时给模型刺激;按计数机械降档的是 阶梯与指数两种粗调,按验证指标降档的是 指标不降才降学习率,把重启做成设计的则是 余弦重启周期逐渐变长。这些手段如何归位,见 优化器定步子调度定节奏。

本章不改变模型结构,属于纯训练工程;它的产出是第10章的前提——蒸馏需要教师模型足够好,剪枝需要基础模型足够好,而“好”取决于本章这些配置是否彼此匹配。换句话说,压缩能把一个模型变小,但不能把一个没训好的模型变好。

原书依据 · 13 处

第10章 模型蒸馏与剪枝

第10章讨论的是模型训练的“下游”:一个已经训好的模型太大、太慢,怎么在不显著牺牲效果的前提下变小。两条路线分别对应两种压缩对象——蒸馏换掉模型本身,剪枝删掉模型内部的冗余。它们共同的前提是有一个足够好的基础模型,这也解释了本章为什么紧接第9章:训练配置决定了被压缩对象的质量上限,压缩只能把模型变小,不能把没训好的模型变好。

蒸馏的核心是教师—学生结构。教师学生与软标签传递 给出完整链路:教师只做前向、输出软标签,学生同时学真实标签与教师分布,梯度只回传学生。蒸馏损失的两条约束 说明为什么两项损失缺一不可:交叉熵守住正确答案,KL 散度传递类别之间的关系;只留前者就退化成普通训练,只留后者会在教师犯错处跟着错。温度把教师分布压平 解释软化为什么必要——温度让次优类别的相对高低显露出来,T² 用来补偿缩放带来的量级变化。学生同时学答案与分布 进一步说明,学生省下的参数量正是被这种更密的监督补上的,因此它的上限是教师本身的水平。

收益要用数字看。蒸馏的效率账 把两组实验并列:训练与推理时间大致减半,参数量压到 60% 与 23%,准确率各降 1.2 与 1.5 个百分点,压缩率越高风险越大,且两组压缩率与精度损失的对应关系并不相同,说明能压多少取决于任务冗余度。看训练与验证是否同降 补充了判据问题:训练损失下降只说明在拟合软标签,必须同时看验证曲线,并与“不用教师直接训练同结构学生”的基线对照,89.21% 这个数字才有意义。

剪枝一侧先分粒度。权重剪枝把小的置零 用 L1 判据把一半权重置零,参数量减半但推理只快约 16%,因为零值仍参与稠密计算,省下的是存储不是时间;结构化剪枝整通道删除 直接删通道,输出形状变小,计算图真正变短,代价是同比例下精度损失更明显,且比例要逐层设定。剪枝是训练评调闭环 把训练、剪枝、评估、微调、部署串成闭环,剪枝比例换精度体积 用 98.23%→97.45%→96.83%、0.87MB 的序列说明这个兑换率是非线性的,超过某点会突然崩塌。BERT 剪注意力头与层 把同样的思路搬到 Transformer:头与层才是它的结构单元,且层的影响大于单个头。

最后要分清两者的分工,蒸馏换模型剪枝删冗余 给出判断顺序:能否更换架构决定能否蒸馏,能否接受重新训练决定能否剪枝。两者可以叠加,例如先蒸馏再剪枝,或用蒸馏帮剪后的模型恢复精度,但每一步都要单独测精度与延迟,收益不会自动累加。

原书依据 · 12 处

第11章 模型训练实战

第11章处理的是“训练怎么真的跑起来”。前面把模型结构与预训练目标讲清楚之后,剩下的问题全是工程性的:数据从哪来、怎么整理成模型能吃的形状、一台机器放不下时怎么分摊、跑上几天怎么知道它在学、中途挂了怎么接上。本章按这个顺序展开,四件事各自独立又彼此咬合。

数据一侧的起点是 文本预处理的四道工序:正则清洗去掉标签与特殊字符,集合去重消除重复条目,切分把长文压到输入上限内,规则映射补上类别标签。每一步都改变样本形态,所以次序有讲究,集合去重会丢掉原有顺序 就提醒我们这一步会重排语料。整理完的文本才交给分词器,子词分词的两条路线 解释了 WordPiece 与 BPE 的差别,以及 input_ids 之外的注意力掩码为何必不可少——它把补齐产生的空白与真实内容区分开。

规模上来之后,单卡放不下也跑不完。一进程一卡的数据并行 把训练拆成每卡一个进程、各自持有完整模型副本、反向后同步梯度,rank 与 world_size 定义了进程的身份与总数,batch_size 也从单次批量变成每卡批量。通信后端要在 gloo 与 NCCL 之间选,gloo与NCCL的适用场景 给出的判据是通用性还是 GPU 间的高速互联。

训练一旦拉长,“看不见”和“回不去”就成了两个主要风险。让损失曲线看得见 用 TensorBoard 把标量写成曲线,提供趋势而非单点判断;检查点必须带上优化器状态 说明落盘不能只存权重,否则恢复后动量从零开始、更新轨迹会偏离;断点续训的保存与加载闭环 把保存与加载接成一个环,代价是两次落盘之间的进度找不回来。最后 IMDB分类的五段训练链 把这些环节串成一次可运行实验,案例准确率该怎么读 则提醒 89.15% 这类单点数字要带着任务与数据条件解读。

本章的方法论可以概括为“让每一步都可观察、可回退”。这两条要求并不专属于预训练:第12章做微调时同样要存检查点、同样要看指标,只是数据更少、可训练参数更少,关注点从“跑得动”转向“改得准”。

原书依据 · 10 处

第12章 模型微调实战

第12章把视角从“训一个模型”换成“改一个模型”。预训练解决通用表示,微调解决具体任务:数据少、算力有限、要尽快拿到可用指标。因此本章每一步都在做减法——减数据噪声、减可训练参数、减推理成本。

数据侧,少样本数据的清洗与三分 用两次切分得到 70/15/15 的三份数据,stratify 保证类别比例与全集一致,同义词替换与随机插入做增强 只在训练集上扩充表面形式。少样本条件下,单条脏样本与一次切分偏差都会被放大,同样的流程在微调里必须比预训练更小心,验证集与测试集也要保持原始分布,否则评估就不再反映泛化能力。

参数侧,冻结底层,解冻顶层 利用 BERT 分层特征的差异,冻结低层、放开最后两层与分类头,显存与单步时间同时下降;代价是低层无法适应差异过大的领域,需要逐层解冻来折中。可训练参数变少之后,步长反而不能太小,微调学习率为何取2e-5 解释了这个量级的来历,调度器让学习率逐步下降 与 权重衰减压制过拟合 则分别是控制轨迹与控制幅度的两个旋钮。

交付侧,准确率不够,要看四个指标 强调指标必须与类别分布一起看,否则全判一类也能刷出很高的准确率;动态量化只压Linear层 与 蒸馏用KL散度对齐分布 代表两条压缩路线——一条减每个参数的位宽,一条减参数总量,二者可以叠加。微调全流程的四段接力 把数据、冻结、超参、评估压缩串成一条链,四段之间存在依赖,任何一段错位都会让后面的数字失去意义。

与第11章对照看会更清楚:上一章关心“跑得动、挂得住”,本章关心“改得准、压得小”。两章共用检查点、监控与评估这套基础设施,只是优化目标从吞吐转向单位算力下的效果,这也是全书从原理走向可用系统的收束方式。

原书依据 · 10 处

跨章综合

把 12 章放在一起看,会发现几条反复出现的判断线索。

第一,结构的选择由任务形态决定,而不是由“先进程度”决定。 同一个 Transformer 内核,加上因果掩码就成了 GPT 的解码器,去掉掩码、加上双向注意力就成了 BERT 的编码器;把图像切块当成 token,就成了 ViT。第 2~4 章的三种模型不是三个不同的发明,而是同一套注意力机制在不同约束下的三种配置。理解了这一点,读新模型时先问“它的掩码方式、训练目标、输入组织是什么”,比记结构图更有效。

第二,所有“省资源”的技术都在交换某种代价。 混合精度用 FP16 换速度,代价是数值范围不足,于是需要损失缩放;梯度累积用小批次换等效大批量,代价是训练时间线性增加;LoRA 用低秩分解换可训练参数数量,代价是表达能力受秩限制;蒸馏用小模型换推理成本,代价是依赖教师模型的质量与软标签温度;剪枝用稀疏换算力,代价是精度需要微调恢复。判断一项优化是否值得,要同时看它换来了什么、付出了什么、边界在哪。

第三,训练与推理的差异是很多工程问题的根源。 教师强制在训练时用真实标签喂解码器,推理时却只能用自己的输出,这个不一致会放大误差;Dropout、批归一化在训练与推理阶段行为不同;层级冻结在微调时改变了可训练参数集合,也改变了显存占用与收敛速度。凡是“训练时很好、上线后变差”的现象,第一步都该检查这种不一致。

第四,数据与目标函数往往比结构更决定结果。 第 6 章的数据清洗与增强、第 8 章的对比学习正负样本构造、第 9 章的学习率调度,都属于“结构不变、结果大变”的部分。BERT 的 MLM 掩码比例、SimCLR 的增强组合、NT-Xent 的批大小,这些超参数的共同点是:它们定义的是学习任务的难度,而不是模型容量。

发散与实践

以下是由本书知识延伸出的实践方向,属于读者延伸,不是作者主张,也未在本轮执行。具体的行动计划、交付物与验证判据见 ideas/ 下的实践卡。

  1. 实现深读:选一个成熟实现(如 Hugging Face transformers 的 BertForMaskedLM 或 GPT2LMHeadModel),把第 1~3 章讲的组件逐一映射到源码:嵌入与位置编码在哪里相加、注意力掩码怎样构造、层归一化用的是 Pre-LN 还是 Post-LN。目标是建立“书中机制 → 真实代码”的对照表,而不是读完整个仓库。
  2. 横向比较:把 Adapter、LoRA、P-Tuning 三种参数高效微调放在同一任务上比较可训练参数量、显存占用与最终指标,验证第 5 章关于“注入位置决定适配能力”的判断。
  3. 最小实验:用一个小语料复现第 9 章的学习率调度对比(常数、StepLR、余弦 + Warmup),观察损失曲线的差异,验证“Warmup 缓解初期不稳定”的说法在自己的设置下是否成立。
  4. 故障观察:故意把混合精度的损失缩放关掉,观察梯度下溢导致的训练停滞,把第 7 章的数值范围分析与实际现象对应起来。

这些实践的共同点是:都能用一本书之内讲过的机制解释结果,不需要额外的领域知识;也都允许在小规模、低成本的条件下完成第一轮。

生成进度与管理记录

从零构建大模型:算法、训练与微调

执行模式:light

建档进度:done

Skill 版本:v24

整体评级

四象限结论:经典原理(高信息浓度 + 高稳定性)

本书不是调包式教程,而是把每个部件拆开讲清“为什么这样设计”:自注意力的点积为何要除以 sqrt(d_k)、多头为何要分头再拼接、残差与层归一化分别解决堆深时的什么病、位置编码为何用正弦余弦而不额外加参数、LoRA 为何能用低秩近似替代全参数微调、梯度累积在什么条件下等价于大批量。这些判断依据属于结构与数值上的约束,不随 PyTorch 版本变化。

需要打折看待的是工程时效性:书中的代码示例以图片形式给出,PyTorch 与 transformers 的 API、分布式启动方式、混合精度接口都会随版本调整;第 11、12 章的 IMDB 与 BERT 微调案例中的具体指标也只是特定设置下的观测值。原理耐用,命令与版本号不耐用。

主形态:概念解析型(以解释机制与实现思路为主,代码分步演示为辅,未按操作对象罗列 API)。

整书笔记

阅读正文、章节讲解、全书主线、跨章综合与全部卡片/原文定位见 _book_note.md。覆盖与候选取舍见 _coverage.md。

章节进度追踪

章节号 章节标题 状态(pending/done) 卡片数
00 引言 done 0
01 Transformer模型基础 done 0
02 GPT模型文本生成核心原理与实现 done 0
03 BERT模型核心实现与预训练 done 0
04 ViT模型 done 0
05 高阶微调策略:Adapter Tuning与P-Tuning done 0
06 数据处理与数据增强 done 0
07 模型性能优化:混合精度训练与分布式训练 done 0
08 对比学习与对抗训练 done 0
09 自适应优化器与动态学习率调度 done 0
10 模型蒸馏与剪枝 done 0
11 模型训练实战 done 0
12 模型微调实战 done 0

合计 135 张知识卡(含引言 3 张;前言为零卡章)。

非正文排除

spine项 类型 排除理由
spine[0] titlepage.xhtml 封面 仅 “Cover” 字样,无正文
spine[1] cover.xhtml 书名页 书名与作者,无知识内容
spine[2] cov1_1 封面图 单张图片页
spine[3] Copyright.xhtml 版权页 书名、作者、出版社、出版时间等版权信息
spine[4] chapter001.xhtml 作者简介 作者履历,无技术内容
spine[5] chapter002.xhtml 内容简介 图书宣传与卖点摘要,无展开讲解
spine[89] daima.xhtml 字体版权声明 Adobe 字体许可声明,无正文

前言(spine[6])与引言(spine[7])含实质内容,已纳入正文计划;前言为零卡章,理由见 _coverage.md。

待关联术语

术语名 出现章节 一句话语境
Casual Tokenizer 与 Casual 3D CNN 分词器 01 正文点名并配架构图,未展开分词规则与卷积结构。
旋转词向量嵌入层 01 图1-4 给出结构,文字未说明其机制。
BLEU 的 smoothing_function 02 代码解析中提到用平滑处理低频词,未展开具体平滑方法。
optimizer.zero_grad 与 optimizer.step 02 仅出现在思考题中,正文未展开其作用。
CIFAR-10 与 ResNet-18 的预处理细节 07 示例所用数据集与骨干网络,原文一句带过。
IMDB 与 TorchText 分词器配置 07 只说明使用基本英文分词器并转词表索引,未给参数与词表规模。
t-SNE 降维原理 08 作为聚类效果的可视化手段提及,未展开算法。
余弦相似度与欧氏距离的数学形式 08 提到两类相似度度量及余弦取值范围,未给公式推导。
DistributedDataParallel 11 11.2 节出现一次并直接用于示例,其机制已并入「一进程一卡的数据并行」卡。

引用文献

标题 类型(书/论文/框架/源码项目) 出现章节 一句话语境
Attention Is All You Need 论文 00 引言说明 Transformer 出自该论文,未介绍其具体贡献。
GPT-4 框架 00 引言以参数量与多模态能力举例,未展开架构。
PaLM 框架 00 引言作为超大规模模型代表提及。
DALL·E 框架 00 引言作为多模态生成代表提及。
CLIP 框架 00 引言作为跨模态检索代表提及。
T5 框架 00 引言以「统一为文本到文本」一句带过,未讲训练目标与数据格式。

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明
— 无 — 全书 本书讨论模型结构与训练机制,未涉及转账、扣款、库存等资金安全场景。

实践卡进度

序号 实践标题 实践方式 状态(pending/done) 关联章节 产出
001 参数高效微调三法比较 横向学习 done 05 ideas/idea-001-peft-three-way-compare.md(对照表与选型备忘待产出)
002 学习率调度曲线小实验 最小实验 done 09 ideas/idea-002-lr-schedule-mini-experiment.md(四曲线对比图与结论待产出)
003 用清洗清单过一遍自有语料 真实任务 done 06 ideas/idea-003-clean-own-corpus.md(清洗脚本与分步指标表待产出)

实践候选筛选:done

未采用候选:① 环境搭建命令序列——随 CUDA/PyTorch 版本失效,且不产生可检查的现实成果;② 逐章代码复现——本书代码以图片给出,无法逐行核对,复现成本高于收益,改以 001 的横向比较承担理解任务;③ 知识蒸馏与剪枝的实验——需较大教师模型与算力,超出单轮可完成范围,留作后续。优先执行 001(成本最低、直接服务选型)与 002(可用小模型在一小时内跑完)。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。