来源书籍

大模型技术30讲

Skill 版本:v24 109 张卡片

塞巴斯蒂安·拉施卡(Sebastian Raschka)

全书导读

这本书的写法很省时间:三十个问题,每个问题占一章,先给出答案的判断标准,再解释为什么。它不按教科书顺序铺概念,而是假定读者已经上过一门机器学习课、会用框架训练模型,然后直接把那些”入门材料里被跳过”的部分补上——嵌入到底在做什么、自监督为什么对大树模型有效而对付感知机没用、ViT 为什么非要那么多数据、置信区间和共形预测差在哪。

五个部分,一条坡度。第一部分(1–10 讲)是深度学习的地基,从表征讲到过拟合的两端(数据侧与模型侧),再进到多 GPU 并行与生成模型;第二部分(11–13 讲)转向计算机视觉,话题都很具体:怎么数参数量、卷积何时能等价替代全连接、ViT 的数据依赖从哪来;第三部分(14–19 讲)是自然语言处理,从分布假设一路到自注意力、编解码器架构、预训练模型的六档用法与生成质量评测;第四部分(20–23 讲)进入生产,讲重训练策略、以数据为中心、推理加速与分布偏移;第五部分(24–30 讲)回到评测与统计,讲回归类型的选择、置信区间、共形预测、度量公理、k 的取值、训练/测试反转与标签不足时的技术地图。

它适合谁:能把模型训起来、但说不清”为什么这样选”的工程师;准备面试或做技术判断、需要一句话讲清某个机制的人。它不适合零基础——没有一处从梯度下降讲起。三十讲彼此独立,可以按目录跳读:每讲开头就是问题,答案在前三段内出现,后面才是展开与边界。

一个需要先约定的口径:书中”模型”一词同时指神经网络与传统机器学习模型,作者在前言里明确说明不会为后者单独加限定语;涉及具体框架与硬件的地方,他都只讲模式不讲版本,因此这套判断在工具换代后仍然能用。

关于本书的出版信息:本地 EPUB 未包含版权页,publisher / publication_date / edition / isbn 均无法从原书核验,故在笔记中显式记为 null;书名与作者取自 EPUB 的书名页与正文署名。

全书主线

三十讲看似散,实际在回答同一件事的三个层次:模型为什么有效、它的效果从哪来、以及你怎么知道自己没被骗。

第一层:表征是共同语言。第 1 讲把嵌入、潜空间、表征三个词拆开,后面几乎每一讲都在用这套语言:自监督学的是表征(第 2 讲),小样本比的是表征的可迁移性(第 3 讲),彩票假设问的是大网络里是否本来就藏着好的子网络(第 4 讲),Self-Attention 与 Transformer 讨论的是如何构造上下文相关的表征(第 8、16、17 讲)。理解了”把输入映到连续空间、让相似的东西相邻”,后面就不必每次重建直觉。

第二层:效果的两端是数据与容量。第 5 讲从数据端处理过拟合(更多数据、增强、预训练),第 6 讲从模型端处理(正则化、缩小模型、集成),两讲合起来是一条完整的优先级:先想办法弄到数据,再约束模型。这条思路在全书反复出现——第 13 讲说 ViT 缺的是归纳偏置因此需要更多数据,第 21 讲把”只改数据不改模型”命名为以数据为中心,第 30 讲在标签不够时列出的四条路,本质上都是”用什么替代缺失的数据”。

第三层:你必须能测出自己好不好。第五部分(24–30 讲)是全书的 skeptical 部分:置信区间告诉你一个准确率数字的误差范围,共形预测给出不依赖分布假设的覆盖保证,度量公理说明为什么 MSE 不能当距离用,k 的取值是偏差、方差与算力的三方交换,训练/测试反转几乎一定是代码或分布出了问题。把这部分读透,前面二十九讲的所有结论才有验收标准。

一条暗线:成本。第 7 讲把训练拆到多卡,第 18 讲把适配预训练模型排成从零成本到最高的六级阶梯,第 22 讲在不牺牲精度的前提下加速推理,第 20 讲讨论重训练策略——它们都在回答”同样的效果,能不能更便宜”。这也是本书区别于理论教材的地方:它假定你有一个预算。

序言

谁写的、站在什么位置 序言由维基媒体基金会机器学习主管 Chris Albon 撰写,不是作者自述,而是同行以读者身份做的定位说明。他先承认机器学习领域的入门教材已有数百本,从面向研究生的理论书到面向企业高管的商业书都有,这些基础读物未来数十年仍会持续发挥作用。但它们的作用是打基础,学完基础的人往往会追问“接下来该做什么”。

从入门到专家不是直线 序言给出的答案是:这趟旅程会经历迂回、绕路、悬崖峭壁,还有一些一开始不那么明显的细微理解偏差。本书处理的正是这一段——中级到高级的实用内容,是每位读者迈向专家必经的一环。从入门到专家的第二段路 记下了这个判断:本书不是又一本入门书,而是入门书之后的那段阶梯,因此读它时该关注的是概念之间的差别与适用边界,而不是重新打基础。

读者与语气 序言把读者限定为已经跨过入门门槛、渴望深入学习的人,并承诺读完最后一页时会比开始时更熟练;结尾是一句“祝你好运”,语气像送行而不像讲授。对读书笔记来说,序言的价值在于设定预期:本书不负责建立基础概念,负责把有基础的人往前推一段,读不下去时不必怀疑自己基础没打好,那本来就是第二段路的常态。

原书依据 · 1 处

致谢

致谢讲了什么 说明本书技术来自开源与机器学习社区的共同创造,并点名四类帮助:技术评审 Andrea Panizza 的反馈,Anton Reshetnikov 对第30章监督学习流程图布局的改进,Nikan Doosti 等人指出的排版错误,两位编辑在提问与语言上的打磨。

作用 不含知识内容,只交代成书的协作与把关,并提示第30章那张流程图被专门设计过。

前言

这本书想补的那一段 前言开篇把动机讲得很直白:深度学习带动机器学习与 AI 大规模推广,新技术不断涌现让人难以跟上,而传统入门教材与课程常常忽略一些有用且重要的技术。本书要提供的正是被略过的部分。读者定位是有一定机器学习经验、上过初级课程或读过入门书的人;不需要高等数学与编程背景,也不必解数学证明或运行代码。

术语口径先约定 一个容易读错的细节是称谓。书中用“机器学习”统称机器学习、深度学习与人工智能,理由是当前效果最好的人工智能技术都由深度学习实现;同时“大模型”不等于“大语言模型”,还包括大型视觉模型与多模态模型。机器学习统称三者的口径 记下了这层约定,按这个口径读后续章节才不会把范围弄窄。

写法:一问一答 一问一答的章节结构 是本书的形式骨架:每章围绕一个中心问题展开,先给解释,再配若干图表,末尾有练习(答案在书末)与延伸阅读的参考文献。章节之间自成一体,可以按兴趣跳读;顺序却仍有意义,例如“嵌入”为后面的自监督学习与小样本学习铺垫。单章独立与顺序通读 说明怎么在这两种读法之间取舍。

全书图景 内容分五部分:神经网络与深度学习、计算机视觉、自然语言处理、生产与部署、预测性能与评测,覆盖从原理到落地再到评估的完整链条,既包含对卷积网络这类既有架构的新见解,也包含大语言模型与视觉 Transformer 的底层原理。三十讲五部分技术栈 用一张结构图把这条链条画出来,便于定位每一讲在整体中的位置。

原书依据 · 4 处

第1章 嵌入、潜空间和表征

本章先把三个常被混用的词拆开。嵌入是把高维输入编码成低维连续稠密向量的方式:稀疏的独热编码乘上一个可学习权重矩阵,就落到连续空间里;关键性质是“保结构”——原本相似的输入,编码后仍然相邻,因此嵌入天然携带语义。潜空间是这些向量落脚的坐标空间,通常由网络中间层(如自编码器的瓶颈层)产生,是原始特征的压缩版本;相似输入靠近只是常见结果,而不是硬性规定。表征的范围最大,任何对输入的编码都算,独热向量也是表征,只是不是好的嵌入。

三者的关系可以这样记:表征是“输入被编码”这件事本身,嵌入是其中保持相似性的一类编码,潜空间是嵌入所在的房间。嵌入是保结构的映射 给出定义、用途与代价;嵌入、潜空间与表征三者关系 把它们放进同一条链路和一张对照表里。

本章是全书的地基。第2章的对比自监督,训练目标就是让相似样本的嵌入靠近、不同样本的嵌入远离;第3章的小样本分类,直接在这个嵌入空间里做最近邻检索;第5章的预训练,本质也是先学一套通用表征再迁到小数据上。反过来看,后面几章遇到“表征好不好”的争论,追问的往往就是本章这三件事:编码是否保结构、空间是否被压缩、目标是否与下游一致。

原书依据 · 2 处

第2章 自监督学习

自监督学习回答的是“没有标签怎么办”。它的做法是从数据本身构造监督信号:遮住句中一个词让模型猜,挖掉图像一块让它补,或者给一段文本让它预测下一个词。这些自动生成的标签撑起的任务叫代理任务,训练过程就是预训练,产出的是一个会编码数据的网络,而不是最终分类器。

它与迁移学习的差别只有一处,却决定了一切:标签从哪来。迁移学习在 ImageNet 这类人工标注的大数据集上预训练,再换到目标任务微调;自监督学习则假设手里只有无标签数据。自监督与迁移学习的分野 把这条界线讲清楚。

方法上分两族。自预测是“破坏—重建”,掩蔽自编码器、降噪自编码器、GPT 的下一词预测都属于此类;对比学习不重建像素,而是要求同一张图的两个增强版本在嵌入空间靠近、不同图的版本远离,通常用共享权重的孪生网络实现。自预测与对比两条路线 画出这个分叉,对比学习:拉近正例推远负例 解释正负例与损失各自的作用。

边界也要记住:这套方法对 Transformer 级大模型有效,对两三层感知机和随机森林、梯度提升这类没有固定参数结构的模型则不实用。自监督只对大模型划算 说明原因。它是第1章表征学习的规模化实现,也为第3章小样本、第5章预训练降过拟合提供了工具。

原书依据 · 4 处

第3章 小样本学习

小样本学习针对的是“每个类别只有一两个样本”的监督场景。它用 N-way K-shot 描述任务规模:N 个类别,每类 K 个标注样本,常见 1-shot 与 5-shot。用N-way K-shot描述任务 解释这套记号,并说明它与常规监督学习在样本量上的量级差距。

它和常规监督学习最大的不同在于训练对象的组织方式。常规训练是让模型反复遍历一个固定标签集的训练集;小样本则把数据切成支撑集,从支撑集里反复抽样,拼成一个个小任务,每个任务配一个查询集,模型在每个任务上先看几眼再作答,一次这样的流程叫一个回合。训练目标因此不是记住某批图片,而是学会“看几个样本就会分类”的能力。支撑集与回合的训练法 给出这条流水线,以及基类、查询集等术语的位置。

测试阶段更严格:模型遇到的是训练时从未见过的类别,只给新的支撑集,要求对新的查询集分类。这一设计检验的是适应速度,而不是记忆量。实现上最直观的一类是元学习,更新参数使模型更快适应新任务;另一类是训练一个更好的嵌入提取器,在支撑集上做最近邻检索。小样本靠嵌入做最近邻 说明后者,它也把第1、2章的表征学习直接接到了决策上。当有标签数据实在拿不到时,第5章会把它列为数据端的备选方案。

原书依据 · 3 处

第4章 彩票假设

彩票假设问的是一个反直觉的问题:大网络里是否本来就藏着一个同样好用的小网络?答案是——在一个随机初始化的网络中存在这样的子网络,称为中奖彩票;只要用相同的训练步数单独训练它,它能在测试集上达到与原网络相当的正确率。中奖彩票:剪枝后的子网络 给出定义,并说明如何用迭代幅值剪枝把它挖出来:训练到收敛,剪掉幅值最小的权重,把剩余权重重置回最初那组随机值,再训练,如此反复。重置这一步是精髓,它区别于普通的“剪完再重新初始化”——若换成一组新的随机初始化,那张彩票通常就找不回来了,这说明子网络的有效性同时依赖结构与初始位置。

剪枝本身也有两种颗粒度:逐个权重置零的非结构化剪枝,和整块移除通道的结构化剪枝。前者压缩率高但得到的稀疏矩阵需要专门硬件才跑得快,后者更贴近实际加速。彩票假设的收益与代价 讨论它的现实含义。收益很清楚:若能稳定找到十分之一大小却性能不降的子网络,推理成本会明显下降,稀疏网络甚至泛化更好。代价同样清楚:至今无法在不训练大网络的前提下找到彩票,算上反复剪枝与重训,总成本可能高于常规训练;后续研究还发现原始初始化策略在大规模网络上未必适用。

它和第5、6章构成一组:第5章从数据端压过拟合,本章与第6章从参数与模型结构端压缩有效容量,两者都在回答“如何让模型只学到规律而不记住噪声”。

原书依据 · 2 处

第5章 利用数据来减少过拟合现象

这一章把过拟合的处理拉回数据端,给出一条优先级:先想办法弄到更多高质量有标签数据,做不到再增强现有数据,再做不到就用无标签或有标签的大数据集做预训练。

判断该不该加数据,靠学习曲线:用不同比例的训练集训练,在固定验证集上评估,若验证准确率随训练集变大仍上升,说明数据不够;训练集与验证集的差距则直接反映过拟合程度。用学习曲线诊断过拟合 给出读图方法与对应处置。

数据增强是在不采集新数据的前提下扩充样本,通过亮度、翻转、裁剪等变换生成同一输入的不同版本,使模型难以记住特定像素位置,从而逼它学形状与语义。数据增强为何抗过拟合 解释机制,也提醒增强必须保持标签语义——在手写数字上乱加变化反而会降准确率。预训练则是借别人的数据:领域相关的有标签数据做迁移学习最有效,没有就用 ImageNet 或无标签数据做自监督预训练;数据少到每类只有几个样本时,则转向第3章的小样本学习。预训练给小数据集兜底 梳理这条选择链。

章末还列了特征工程与标准化、对抗样本、标签平滑、更小批次、Mixup/Cutout/CutMix 等手段。数据端的其他降过拟合手段 把它们按作用点归位,并指出第6章将从模型与正则化角度继续。

原书依据 · 4 处

第6章 通过改进模型减少过拟合现象

过拟合的根源是模型容量相对数据与任务过大,因此除了加数据、做数据增强,还可以直接约束模型本身。第6章把模型侧的手段归为三类:正则化、缩小模型、构建集成。

正则化的共同点是给复杂度定价:权重衰减与L2正则化把权重大小写进损失函数,或者直接写进参数更新;Dropout与早停法不改目标函数,而是在训练过程中制造扰动或提前收手。前者改变模型最终停在哪里,后者改变训练走多远。

缩小模型走另一条路:剪枝与知识蒸馏通过删除参数,或让小模型模仿教师来降低容量。但作者提醒,这条路对泛化的帮助并不稳定——双下降与顿悟说明参数量与泛化并非单调关系,剪枝带来的部分收益其实来自更长的训练与重新调整的学习率。

K折交叉验证构建集成把多个模型的预测合起来,用投票或元模型抵消单个模型的偏差,代价是成倍的计算与部署复杂度,因此在深度学习中不如传统机器学习常见。

实际动手时,先要判断瓶颈在哪:如果是数据太少或噪声太大,加正则只能缓解表面症状;如果是容量明显过剩,缩容与正则更对路。这些手段并不互斥:数据质量仍是第一道防线,剩下的更像一个超参数优化问题——选哪些技术、用多大强度,要按数据集调。它们也共同推高算力需求,这正是下一讲多GPU训练要处理的问题。

原书依据 · 4 处

第7章 多GPU训练模式

当模型或数据超出一张显卡的容量,训练就必须拆开。第7章按拆什么把多GPU模式分成两类:拆数据的数据并行的梯度汇总,和拆模型的模型并行与张量并行;流水线并行的微批量混合两者,序列并行切分长序列则专门对付长序列的注意力开销。

模型并行按层切,链式依赖让设备互相等待,所以它更像先跑起来的方案;张量并行把矩阵乘法按行或列拆开,设备可以真正并行,代价是频繁同步。数据并行给每张卡一份完整模型副本,只分数据,因此实现最简单、吞吐最高,但显存装不下模型时直接失效。

流水线并行把微批量灌进按层切好的阶段,用填流水的方式掩盖空闲,仍有气泡,且编排与通信成本高。序列并行面向 Transformer 的二次复杂度注意力,把长序列切块分摊到多卡,但会切断长距离依赖并引入额外通信。

选型其实不复杂:单卡装得下就优先数据并行;装不下就上张量并行或模型并行;现代大模型普遍是数据并行与张量并行的组合。还有一个容易被忽略的点:并行模式的选择不是一次性的,训练规模、序列长度、集群互联都会改变最优组合,同一套代码在不同集群上往往要重新调分片策略。这套并行能力,正是下一讲 Transformer 能靠规模取胜的前提。

原书依据 · 4 处

第8章 Transformer架构的成功

第7章解决的是算得动,第8章回答的是为什么偏偏是这个架构。

核心在自注意力的动态权重:每个词元都要与序列中所有其他词元比较,权重由输入决定,训练结束后依然随输入变化;而全连接层和卷积层的权重训完就固定。这让模型能为每个位置构造上下文相关的表征,也解释了它在语言任务上的优势。

第二个因素是自监督预训练的目标:在无标签语料上预测缺失词或下一个句子,把语言的一般规律压进参数,再迁移到下游任务。标签数据始终稀缺,这一步等于把海量未标注文本变成训练信号。

第三个因素是规模,见规模扩张与并行化:线性尺度定律给出参数翻倍、损失约减半的经验关系,但训练词元数量必须同步翻倍,否则规模收益打折。规模之所以可行,还因为自注意力中成对词元的比较彼此独立、序列可填充到定长做批处理,计算能摊到大量加速器上。

值得注意的是,注意力机制本身并非 Transformer 首创,它早在图像识别与循环神经网络翻译中出现过;Transformer 的贡献是把自注意力做成主干,并让它适合大规模并行训练。四个因素互相咬合:注意力提供表达能力,预训练提供数据,规模提供容量,并行提供算力。这条路线也直接催生了下一讲的生成式模型。

原书依据 · 3 处

第9章 生成式AI模型

判别式模型只学条件概率 p(y|x),生成式模型则要学 p(x) 或联合分布 p(x,y),因而能从分布中采样出新数据——这是生成式与判别式之分的关键差别。深度学习把这条思路扩展成一组各有取舍的模型家族。

能量模型与深度玻尔兹曼机用能量高低表示可能性,靠吉布斯采样出样本,是早期无监督学习的代表,但训练昂贵、表达力偏弱、样本质量不高。VAE与GAN的潜空间代表两条潜变量路线:VAE 用重建损失加 KL 正则把数据压进高斯潜空间,训练稳定但图像偏模糊;GAN 用生成器与判别器对抗,样本锐利却容易模式崩溃、多样性不足。

流模型与自回归的似然走精确概率路线:流用可逆变换把简单分布掰成复杂分布,自回归用链式法则逐项分解,两者都能算似然,适合密度估计与异常检测,但前者吃内存,后者逐像素生成很慢。扩散模型与一致性模型是当前主线:扩散靠加噪再逐步去噪拿到顶尖画质,代价是采样步数多;一致性模型学习去噪轨迹,试图一步到位,但训练成本仍高。

从演进看,VAE 与 GAN 曾在高保真图像上长期竞争,2022 年前后扩散模型几乎全面主导图像生成,一致性模型则是有潜力的新替代。选择取决于要什么:精确似然、样本质量、采样速度三者难以兼得。而生成模型同一提示不同输出的特性,正好接上下一讲关于随机性来源的讨论。

原书依据 · 5 处

第10章 随机性的由来

同样的代码、同样的配置,两次训练却得到不同的模型——第10章把这归结为五类来源:权重初始化、数据划分与采样、Dropout 这类非确定性算法、运行时选择的算法实现(如 cuDNN 的直接卷积、FFT 卷积、Winograd 卷积),以及硬件与驱动的数值差异,详见训练随机性的五类来源。

这些来源性质不同:初始化决定落进哪个局部极小;数据划分改变训练样本集合;Dropout 每轮随机屏蔽单元;算法实现引入微小数值差,经过多轮累积后收敛到不同解;不同 GPU 架构甚至不保证比特位级一致。

这件事的实践含义有两面:一方面,调参与对比实验时必须把随机性压到最小,否则很难判断指标变化来自改动还是噪声;另一方面,训练期的随机并非纯粹有害,Dropout 与数据重排带来的扰动本身就有正则效果,追求完全确定反而可能损失泛化。控制手段也分层:固定随机种子能让初始化和 Dropout 可复现,推理时关闭 Dropout,打开确定性算法开关,锁定硬件与驱动版本。代价是确定性实现通常更慢,显存占用也更高。

这也解释了为什么复现实验要记录的不只是代码:随机种子、框架与驱动版本、GPU 型号、批大小与数据顺序,任何一项缺失都可能让结果对不上。还有一类随机是刻意设计的:生成模型在推理时主动采样,top-k、核采样、温度缩放都在调节随机程度,让同一提示产出多样结果。这正好回扣第9章——在这里,随机性是特性而不是缺陷。

原书依据 · 1 处

第11章 计算参数量

本章在算什么 这一章处理一个纯工程问题:一个网络里到底有多少可训练参数。算法只有一条——自左向右逐层算,再把每层的权重与偏置相加;池化层、激活层没有可训练参数,直接记 0。卷积层的算法见 卷积层参数量公式:一个输出通道要对每一个输入通道各配一整个卷积核,所以核面积要乘输入通道数,再乘输出通道数,偏置则每个输出通道一个。全连接层更直接,见 全连接层参数量公式:输入单元数乘输出单元数,再加输出端偏置。

代进去看比例 第一个卷积层 5×(5×5×3)+5=380,第二个卷积层 12×(3×3×5)+12=552,卷积部分 932;两个全连接层 192×128+128=24704 与 128×10+10=1290,合计 25994;总数 26926。这里有个反直觉的事实:卷积只占约 3.5%,参数几乎全压在第一个全连接层上。这也解释了后来架构为什么用全局平均池化把大全连接层砍掉——省参数就是省显存。

为什么要算 见 参数量估算显存占用:参数量是模型规模的第一近似,决定权重文件大小、fp32 下的常驻显存,以及训练时优化器状态的开销。SGD 约需 2 倍参数量的内存,Adam 因为要存一阶、二阶动量约需 4 倍。

边界 算出来的是下限。实际训练显存还要加激活值,往往数倍于权重本身;BatchNorm 的缩放与偏移、嵌入表、分组卷积的 groups 都会改变计数。所以它适合判断可行性,不适合替代实测。

原书依据 · 3 处

第12章 全连接层和卷积层

问题 本章问得很窄:什么时候可以把全连接层换成卷积层,而计算结果一个字都不变?答案是两种极限情形,分别对应 卷积核与输入同尺寸的等价 与 1×1卷积等价全连接。两者共同的机制是:卷积在某个位置做的是逐元素相乘再求和,这与全连接层的点积在数学上是同一件事,差别只在于权重是否在空间上被复用。

两种情形 其一,核的高宽等于输入的高宽,滑动窗口退化为唯一一次覆盖,一个输出通道就是一个完整卷积核与整幅输入的点积,输出通道数即输出单元数。其二,把特征图看成 1×1×C 的“像素”,通道数充当输入单元,1×1 核在每个位置上完成一次 C 到 C_out 的线性映射。

代价常被忽略 全等价的卷积并不省参数:核覆盖全图时 k×k×C_in 就等于 in,参数量与全连接层完全一致,它放弃了权值共享带来的削减,换到的只是算子与硬件路径的统一,可以走针对卷积优化过的加速器。在普通 CPU 上并不会立即带来性能收益,这一点书中明确说了。反过来,一旦步长大于 1 或加入填充,窗口开始滑动、权重被复用,输出尺寸与对齐关系都变了,等价立刻失效。

怎么用 理论上全连接层可被卷积层无损替代,整网不用全连接层也能实现 CNN,代码因此可以统一;工程上是否替换取决于目标硬件,边缘设备上才真正划算。

原书依据 · 2 处

第13章 ViT架构所需的大型训练集

问题的根子在归纳偏置 本章要解释一个经验现象:ViT 往往需要比 CNN 大得多的训练集。答案不在参数量本身,而在 归纳偏置——模型设计里预先写死的假设。CNN 把这些假设写进了结构,ViT 则把自由度留给了数据。

CNN 写死了什么 CNN的四类归纳偏置 是本章的骨架:局部连接假设邻近像素更相关;权值共享假设同一模式出现在哪里都该用同一组权重;分层处理让低层边缘组合成高层物体;三者结合给出空间不变性。ViT 只有分块与位置嵌入,几乎没有这些约束。

一处容易被简化的地方 平移等变与平移不变 需要分开讲。卷积严格说给的是等变性——输入平移,输出特征图相应平移;要得到真正的不变性还得靠池化把位置抹掉。ViT 两者都不自带,只能学。

因果链 于是有 ViT为何依赖超大数据集:偏置少,假设空间大,就需要更多样本把不变性、局部性这些概念学出来。论文给出的经验门槛是至少一亿张有标签图片的预训练,ViT 才在性能上超过卷积方法;数据不足时不如同量级 CNN。ViT 自己的偏置是分块:切块后可让每块关注所有块,从而在不增加参数的情况下处理更大图像。

结论别读歪 这不意味着 CNN 过时。CNN 的数据与内存效率仍是优势,近期 ViT 变体也主动把软卷积偏置甚至完整卷积层加回去。读本章的正确姿势是把数据需求看成归纳偏置的镜像:结构里省下的,最终要用数据补回来。

原书依据 · 4 处

第14章 分布假设

一句话 分布假设 是本章唯一的核心命题,也是词向量这条技术路线全部的地基:一个词的含义由它出现的语境决定,经常出现在相似语境中的词,含义也相近。它把“意义”这个难以标注的东西,替换成可以从语料统计的共现模式。

为什么它是词向量的前提 把词压成稠密向量的做法,本质是在拟合上下文预测。CBOW与跳字模型 把假设变成两个互为反向的任务:由上下文猜当前词,或由当前词猜上下文;训练完,语境相近的词在向量空间里自然靠近。掩码语言模型与下一词预测 把同一思想放大到 Transformer:BERT 挖空填词,GPT 预测下一个词,都不需要人工标签,训练信号直接来自文本自身的共现结构——这才使规模扩张成为可能。

边界在哪 第一,多义词是明确反例:“bank”指银行与河岸时分布特性不同,一个静态向量装不下两种用法,这正是后来上下文嵌入的动机。第二,同音异义词与纯语法约束并不完全由分布决定。第三,假设的成立依赖语料规模,小语料上共现统计噪声很大,“相似语境”本身就估不准。

该怎么记 它是一个在大规模数据上大体成立、极其有用的近似,而不是词义的完整定义。它解释了自监督预训练为什么有效,也同时解释了它在什么情况下会失效。

原书依据 · 3 处

第15章 文本数据增强

目标与难点 文本增强与图像增强目标一致:不改变标签而扩充样本,抑制过拟合。难点在于文本是离散的,任何改动都可能改变语义或破坏语法,所以每一种方法都带着自己的失败模式。

三条技术路线 词级文本增强三法 覆盖最常用的局部扰动:同义词替换、词语删除、词语位置交换。它们的共同前提是“句子意思由关键词承载,其余可以抖动”,这个前提在情感分析、主题分类上大致成立,在问答、抽取这类需要精确语义的任务上很容易把标签改掉。

回译增强 走另一条路:译出再译回,让机器翻译模型充当受约束的改写器。生成句更自然、结构变化更大,代价是依赖翻译质量,术语与低频表达容易漂移,成本也明显更高。句子乱序则是句以上的操作,保持每句内部不变、只重排段落顺序,适合文档分类与主题建模;一旦文本存在时间或因果链,重排就会摧毁原意。

何时该用 见 文本增强的适用边界:有标签数据少时收益最大;大模型在预训练阶段已见过海量多样文本,收益有限,但到了微调阶段、任务数据又小,增强会重新变得有用。

纪律 任何自动增强都要保留原样本、按比例混合,并抽样核对标签有没有被改反。替换阈值、删除比例、增强倍数都应在验证集上定,而不是照搬默认值。

原书依据 · 3 处

第16章 自注意力

第16章把注意力放回它要解决的问题上:序列到序列模型不该把整句压成一个向量。Bahdanau 机制让解码器在每一步回看编码器的所有位置,权重随当前生成的词而变,这解释了为什么翻译里 helfen 会在生成 help 时被高亮。代价是两套 RNN、两套序列,权重矩阵是 n×m,训练仍然串行。单一隐藏状态的翻译瓶颈

自注意力把“查询”与“被查询”的对象合并成同一个序列:每个词元都与其他词元比对,权重矩阵变成 n×n,不再需要两个 RNN。这带来一个反直觉的结果——位置信息不再隐式存在,必须靠位置编码补回;也带来一个直白的代价:比较次数随序列长度平方增长。这是平方复杂度决定上下文上限的来源,也是长上下文模型必须做稀疏化、分块或线性近似的根本原因。两种机制的作用域差别见自注意力与Bahdanau之别。

计算本身并不神秘:X 乘三套权重得到 Q、K、V,QKᵗ 除以 √d_k 后按行做 softmax,再乘 V 得到上下文向量。书中图16-3 故意省掉权重矩阵,以便看清“加权求和”这个内核;自注意力的四步计算 补回矩阵部分,并说明多头只是把同一件事并行做 h 次再拼接。理解这一层的意义在于:后面所有架构差异(是否掩蔽、堆几层、几个头)都是在同一个算子上做加减,而不是换了一套机制。

原书依据 · 4 处

第17章 编码器和解码器风格的Transformer架构

第17章的判断标准很干脆:编码器和解码器共用同一套自注意力层,区别只在目标。编码器把输入压成可复用的表征,解码器把表征摊开成新文本。原始 Transformer 两者都要:编码器一侧是嵌入加位置编码、多头自注意力、残差与 LayerNorm、前馈网络;解码器一侧多了一个被掩蔽的自注意力。编码器解码器的双塔分工 给出这条数据通路,也标出残差加归一化的位置——它让深堆叠的训练稳定下来,而不是提升表达能力。

纯编码器路线以 BERT 为代表,用掩码语言建模做自监督:随机遮住一部分词元,让模型从两侧上下文把它们猜回来,再叠加下一句预测判断两句顺序,[CLS] 与 [SEP] 是这套任务的占位符。掩码语言建模的自监督 说明这套目标为何能产出通用嵌入,也说明预训练与下游任务之间的那道缝。RoBERTa 相对 BERT 的改动是工程性的:更大批次、更多数据、去掉下一句预测。

纯解码器路线以 GPT 为代表,关键改动是把注意力矩阵的上三角遮掉。因果掩蔽守住自回归 解释:不遮的话,预测第 t 个词时模型已经看见第 t 个词,训练损失会假性下降,推理时却拿不到答案。掩蔽把“一次生成一个词元”写进了结构,代价是推理无法并行。

术语上有一处容易误读:纯编码器也被称为“解码”,只是它不做自回归解码,输出是标签或词元预测而非连贯文本。三类架构的任务选型 把选型收敛成一句话:要标签或嵌入用编码器;输出强依赖输入且长度不定,用编码器-解码器(翻译、摘要);开放式生成与问答用纯解码器。

原书依据 · 4 处

第18章 使用和微调预训练Transformer

第18章真正回答的是“我该花多少算力”。作者把适配预训练模型的办法排成一条从零成本到最高的阶梯:提示(不改参数)、基于特征(冻结加线性分类器)、微调I(只训输出层)、参数高效微调(只训新增的小张量)、微调II(全参)、RLHF(奖励模型加 PPO)。五种用法的成本阶梯 把这条阶梯画成图;冻结模型做特征提取 说明最省的一档为何常常够用:预训练嵌入已经抽好了特征,线性分类器在高维空间里正则化良好,而且嵌入可以预计算、反复使用。

微调I与微调II的取舍 是本章的分水岭。微调I 只让新加的输出层接受梯度,不需要全网络反向传播,显存和吞吐都友好;微调II 把梯度穿透所有层,在领域差异大的数据上通常更好,但成本最高,且有遗忘预训练知识的风险。作者的态度很务实:全参微调仍是黄金标准,但它不是唯一选项。

没有标注数据时,上下文学习与提示词调优 给出两条不碰参数的路:把示例放进提示做零样本或小样本,或者优化提示本身的措辞(硬提示)。前者受上下文窗口与示例顺序影响,后者不可微、需要人工比对。索引也就是检索增强,把外部文档切块、向量化、按相似度取前 k 个再合成答案,本质仍是上下文学习,只是上下文来自检索,代价是检索延迟与“答案不出检索内容”的天花板。

PEFT的四种改法 把参数高效方法归到一条主线上:都在冻结主干的前提下加一小块可训练结构——软提示加在输入嵌入前,前缀加在每个 Transformer 块前,适配器在注意力与前馈之后插入低维瓶颈层,LoRA 直接给权重加一个低秩补丁。书中用 1250 个参数被 375 个参数替代的例子说明“高效”的含义,也用缩放因子说明新旧知识如何配比。RLHF 是另一条线:人工排序训练奖励模型,再用 PPO 依奖励调参,因为人无法实时给出反馈。

原书依据 · 5 处

第19章 评测生成式大模型

第19章先划一条界线:困惑度是内在指标,直接由交叉熵导出;BLEU、ROUGE、BERTScore 是外在指标,拿生成文本和参考答案比。作者用分类器的交叉熵与准确率作类比——前者可微、可优化,后者才是真正想要的,指标就是那个不可微但可测的目标替身。困惑度衡量预测的不确定性

三个外在指标的分工由“往哪个方向数”决定。BLEU 数候选里有多少词出现在参考中,是精确率视角,再加一个短句惩罚,防止模型靠输出短句刷分。BLEU的精确率与短句惩罚 也交代了失效边界:只认字符串匹配,语序换了、同义词换了就扣分;最初“与人工高度相关”的结论后来被证伪,所以它更适合做训练中的模型选择,而非最终质量裁判。

ROUGE 反过来数参考里有多少词出现在候选中,是召回率视角。ROUGE-L 用最长公共子序列、ROUGE-S 用跳跃二元组来容纳词序变化。ROUGE的召回视角 说明它为何在摘要领域近乎垄断(2021 年计算语言学会议的摘要论文全部用了它,其中 69% 只用它),也说明召回偏向会奖励长而抄源文的摘要。

BERTScore的语义对齐 换了度量空间:不再数字符,而是用 BERT 的上下文嵌入做逐词元贪心对齐,取最高余弦相似度的平均。它因此对改述更稳健,代价是要多跑一遍 BERT,而且不对称——交换候选与参考可能得到不同分数。本章末尾的提醒最值得记住:所有这些都是代理指标,公共数据集也不反映真实使用场景,人工评分仍不可替代。

原书依据 · 4 处

第20章 无状态训练与有状态训练

新数据到来时,模型是“从头再练一遍”还是“接着往上练”?第20章把生产训练分成两条流水线:无状态重训练与有状态训练。前者每次都用当前窗口内的数据从零训练一个新模型替换旧的,等价于让训练集随时间滑动;后者保留参数、只在新数据上做增量更新,模型版本从 1.0 滚到 1.1、1.2。

无状态重训练像滑动窗口的关键特征是“参数不继承”。它不挑模型,随机森林、XGBoost、LightGBM 这类无法微调的模型只能走这条路,也因此成为传统机器学习系统的默认做法;当特征与标签的关系发生结构性改变时,丢掉旧参数反而是优点。代价是每一轮都要付一次完整训练的算力,窗口外的历史样本被丢弃。

有状态训练不必存旧数据把存储省了下来:数据一到就能更新,对隐私敏感或存储受限的场景很有吸引力。但它并不是迁移学习的同义词——迁移学习换的是任务与标签,有状态训练换的是同一任务下的数据分布,目标是追上概念、特征与标签的偏移。这条路的两个隐患是灾难性遗忘和对批次顺序的敏感,模型会越来越“只记得最近”。

两种训练流程的分岔把两者的取舍摊开:模型是否支持微调、历史数据能否保留、偏移是渐变还是断裂、算力预算多少。实践中的判断顺序通常是先看模型族,再看数据合规约束,最后才比较成本。选错的典型症状是:该重训时一直微调,模型追不上新概念;该微调时反复重训,算力烧光却只换来微小的分布适配。

原书依据 · 3 处

第21章 以数据为中心的人工智能

同样是想让模型更准,一条路是改模型,另一条路是改数据。第21章把后者命名为以数据为中心的人工智能:模型与训练流程保持不变,只迭代数据集。清洗异常值、填补缺失、合成与增强、清理标签、用主动学习挑出该标注的样本,全都属于这个范畴。判断标准只有一条——改动是否只发生在数据侧;一旦顺手换了网络结构,就不再是纯粹的以数据为中心。

先把数据修好再调模型讲的是优先级。研究者常见的误区是手里只有几百条样本,却把大量时间花在换算法和调参上,因为标注又贵又枯燥。可在小数据区间,百条样本抵十亿参数:训练集小于两千例时,补一百条样本带来的提升可能相当于把参数扩大数十亿。数据是复利资产,一次投入惠及后续所有模型;调参的收益则绑定在当前模型上。

但数据路线也有代价。标注周期长、成本高,效果不像换个 backbone 那样当天可见;数据质量存在天花板,补到一定程度后回报迅速递减,此时再堆样本不如回头调模型。所以真正可行的策略是交替推进,而不是站队。

交替的前提是能归因,这正是一次只改一个变量要守住的纪律:同时动模型和数据,就无法判断涨点来自哪一边。合理的节奏是先固定模型、把数据基线打干净,再固定数据、做模型调优,每一轮只留一个自变量。串行实验比并行试错慢,但结论可复用;并行的代价是每次涨点都成了无法解释的玄学。

原书依据 · 3 处

第22章 加速推理

这一章有个明确的前提:不改模型结构、不牺牲准确性。在这个约束下,加速手段其实只有一类——把同样的计算组织得更贴合硬件。并行化、向量化、循环分块、算子融合都属于这一族,量化则是唯一的例外,它靠降低数值精度换速度,作者也坦言它“可能不是本章最贴切的主题”。

批量推理拿延迟换吞吐是最容易拿到的一档收益:一次前向处理一批样本,GPU 的利用率立刻上来。但吞吐与单条延迟是两笔账,批越大,排队时间越长,尾延迟越难看;请求稀疏或强实时场景下,批量反而有害,动态批处理是用等待窗口做的折中。

再往下是让数据更贴近算力。向量化与分块各司其职:向量化用 SIMD 与 BLAS 把显式 for 循环压成一次数组操作,循环分块把迭代空间切成能装进缓存的小块,算子融合则把多个循环合并、减少迭代次数与内存往返。三者不冲突,一个管“指令级并行”,一个管“缓存装不下的大数组”,一个管“循环太多”。代价是这些优化在 Python 层面基本不可见,只能依赖 NumPy、PyTorch 的底层实现,手写会牺牲可读性,分块尺寸还得按缓存容量调。

量化用精度换显存是另一条路:权重从浮点压到 INT8 或 INT4,模型体积和内存带宽同步下降。训练后量化简单,但可能掉点;量化感知训练在训练中模拟量化,让模型学会补偿,精度更稳,但要重训。剪枝与蒸馏同样能提速,可它们改变的是模型架构,被作者划到了第6章。理解这条边界,才能判断某项“加速”到底是在优化执行,还是在换一个更小的模型。

原书依据 · 3 处

第23章 数据分布偏移

模型上线后性能下滑,最常见的原因不是代码坏了,而是数据变了。分布偏移指的是训练分布与线上分布的差异,它不会报错,只会让预测悄悄失准。第23章用三个量把偏移拆开:输入的边缘分布、标签的边缘分布、以及给定输入后输出的条件分布。哪一个变了,就对应哪一种偏移。

四类偏移只看两个分布给出判别表:只有输入分布变、条件关系不变,是协变量偏移,例如邮件突然变长、发件时区变多,但“什么算垃圾邮件”没变;只有标签分布变,是标签偏移,例如训练集里垃圾邮件占一半,真实流量里只占一成;条件关系本身变了,是概念偏移,例如出现了训练时没见过的钓鱼手法;两者同时变,是领域偏移,也叫联合分布偏移。严重性大致按这个顺序递增:协变量偏移原则上还能用旧模型,领域偏移则要求模型同时适应新的输入模式和新规则。

麻烦在于线上通常拿不到标签。没有标签也能发现偏移因此把检测前移到输入侧:监控特征的均值、方差、缺失率与词表分布,用对抗验证训练一个“训练集 vs 线上样本”的分类器,如果它能轻易区分两者,说明分布已经不同;再叠加输出分布与业务指标的监控。这套方法的代价是只能证明“分布变了”,不能直接证明“精度掉了”,仍需要少量抽样标注来校准,阈值也要在误报与漏报之间反复调。

缓解手段与类型对应:协变量偏移用重要性加权,给更像线上分布的样本更高权重;标签偏移按新的先验调整损失权重;概念偏移与领域偏移则往往只能持续监控、补充目标域标注并重训。

原书依据 · 2 处

第24章 泊松回归与序回归

这一章处理的是一个容易被整数外观骗过去的选择题:目标同样是 1、2、3、4,有时该用泊松回归,有时该用序回归,判据不在数值长相,而在数值背后能不能做算术。

计数数据回答“发生了多少次”——某航班上感冒的乘客数、某餐馆某天的客流量。泊松回归的前提有两条:取值是非负整数,且分布近似泊松,也就是均值与方差大致相当。均值较大时泊松趋近正态,可以用正态近似,但均值等于方差这条不能丢:一旦方差远大于均值(过度分散),标准误会被低估,区间偏窄,得换负二项或准泊松。

序数数据回答“谁更高”——一星到五星、无/轻/中/重。它虽然也写成整数,但类别间距是任意的,把“严重”记 4、“中度”记 3 只是编码习惯。序回归只使用顺序信息,不假设 4 与 3 的差距等于 2 与 1 的差距;反过来,把序数当连续值做线性回归,等于凭空注入了等距假设,残差结构从一开始就是错的。

判别口诀:能问“多了多少”用泊松(或其他计数模型),只能问“哪个更高”用序回归。同一个整数列,问错问题比选错算法更致命。计数目标才配泊松回归 序回归只认顺序不认间距

原书依据 · 2 处

第25章 置信区间

置信区间要回答的是:用有限测试集算出的准确率,离模型在全体数据上的真实准确率有多远。它是频率派的工具——真值固定、区间随机;95% 的含义是反复抽 100 个测试集、各算一个区间,约 95 个覆盖真值,而不是“这一次的区间有 95% 概率装住真值”。

四种构造法各有各的假设。正态近似最省:p̂ ± z·√(p̂(1−p̂)/n),靠中心极限定理把二项计数拉成正态,n 小或 p̂ 贴近 0/1 时会给出越过 [0,1] 的荒谬边界。袋外自助法把训练集有放回重抽 B 次(常取 1000),得到 B 个准确率后取 2.5 与 97.5 百分位,用重采样经验分布替换正态假设,代价是 B 倍训练,而且只在已有数据里打转,变不出新信息。只对测试集自助则训练一次、重采样多次,适合深度网络,但看不到训练集微扰带来的波动。换随机种子重训 k 次(k 常为 5–10)时样本量太小,应把 z 换成 t,t 临界值更宽,k 增大后两者趋同。

换一套概率语言,贝叶斯可信区间直接给 P(θ∈[a,b]|data)=0.95,靠先验加似然求后验;弱先验大样本下它和正态近似几乎重合,强先验小样本下则被先验牵着走。

最后一条实操警告:两个 95% 区间不重叠,可判差异显著;重叠却不能反推“无差异”。置信区间是命中率的承诺 正态近似区间算得最快 重采样家族:三种花法 贝叶斯区间换的是问题

原书依据 · 4 处

第26章 置信区间与共形预测

第 25 章的区间是给参数用的,这一章要把它和“给单个预测用的区间”分开,再引入一个不依赖分布假设的构造法。

置信区间的对象是总体参数,样本越多越窄;预测区间的对象是单个样本的输出,宽度里既有估计误差也有个体自身的波动,样本再多也收不窄。身高那个例子最直观:一万人样本得到均值 5 英尺 7 英寸,均值的 95% 区间是 5 英尺 6 英寸到 5 英尺 8 英寸;而体重 185 磅的某个人,其身高的预测区间是 5 英尺 8 英寸到 6 英尺。前者用来选模型,后者用来判断这一条预测能不能直接用。

共形预测把对分布的要求降到最低:只要求校准集与待预测样本可交换,就能给出覆盖率保证。流程是三步——留出校准集,定义非一致性分数(常用 1 减去真实标签的预测概率),取分数的分位数当阈值,再把分数低于阈值的候选标签收进预测集合。回归任务得到区间,分类任务得到标签集合,统称预测区域。

它的强处是分布无关、模型无关、有限样本有效;弱处是必须切走一块校准数据、只保证平均覆盖率、集合可能偏大。预测集合的大小本身就是信号:只含一个标签说明模型笃定,含三个说明它分不清。置信区间管参数,预测区间管个体 共形预测的三步流水线 有限样本覆盖是共形的底牌

原书依据 · 3 处

第27章 合适的模型度量

损失函数天天用,但“损失”和“距离”是两件事。这一章给度量定了三条标准:非负且只有同一点才为零、对称、满足三角不等式。前两条几乎所有的损失都过得了,真正的筛子是第三条——绕一次路不能比直达更近。三角不等式看着抽象,其实是聚类、最近邻、收敛性这些几何直觉的地基;没有它,数值可以下降,空间却没有形状。

均方误差栽在第三条上:取 1、2、3 三点,SE(1,3)=4,而 SE(1,2)+SE(2,3)=1+1=2,直达比绕路还远。把平方换成平方根,RMSE 就恢复了度量身份,标量情形下它就是欧氏距离。

交叉熵更彻底,三条全不满足:CE(0.5,0.5)=0.693 不为零,CE(0.9,0.1)=2.303 与 CE(0.1,0.9)=0.105 不相等,取 0.1、0.5、0.9 时 2.303 大于 0.693+0.693,三角不等式也破。根因是它衡量“用预测分布编码真实标签的代价”,里面含着标签自身的熵,本就不是纯粹的几何距离。

结论要分两层:MSE 和交叉熵都是好用的训练损失(可导、惩罚合理),但不是合适的度量,别拿它们当样本间距离去做检索或聚类。合适度量的三条硬杠 平方误差差一个根号 交叉熵三条全不满足

原书依据 · 3 处

第28章 k折交叉验证中的k

k 折交叉验证的用途是用全部训练数据模拟模型在新数据上的表现:把训练集切成 k 份,轮流留一份作验证,得到 k 个模型和 k 个分数,再取平均。这个平均分近似“在完整训练集上训练出的模型”的水平。k 的取值实际上是在偏差、方差与计算成本之间做交换。

先看偏差。每折只用了 (k-1)/k 的数据,模型见到的样本少于最终模型,分数被系统性压低,这就是悲观偏差;k 越大,训练折越接近全集,偏差越小。k值的偏差与方差 把两端放在一起看:k 变大时验证折只剩 1/k,单折分数由很少的样本决定,噪声把方差抬上去;同时训练折彼此高度重叠,k 个模型几乎一样,“平均”也就抵不掉这份噪声。所以两端都会增大方差,只是来源不同——小 k 是模型之间差异大,大 k 是验证集太小。

5 和 10 成为默认是经验与惯例的产物:Kohavi 在若干小数据集上比较后认为它们折中较好。五折与十折的惯例 说明了这个结论的适用面——它来自经典算法与小数据集,不能直接外推到深度网络。10 折每轮用 90% 数据,5 折用 80%,计算量大约差一倍。

真正决定 k 的,是你拿交叉验证做什么。想逼近“全集训练”的效果,就增大 k;想观察算法对训练集扰动的敏感性,就减小 k,并把折间方差当作选择标准。调参用小k评测用大k 给出两步做法:调参阶段用小 k 换速度与稳健性,选定后增大 k 做评测。但要当心,同一份数据既调参又评测会带入选型偏差,稳妥的做法是留独立测试集,或用嵌套交叉验证。留一法的验证折只有一个点,对准确度这类不连续度量只能给出 0 或 1,方差极大,只适合平滑损失和便宜的小模型。

原书依据 · 3 处

第29章 训练集和测试集的不一致性

训练集和测试集表现反转——测试反而更好——是个信号很强的异常。它基本排除了过拟合,因为过拟合的症状是训练好、测试差。剩下的可能只有两类:代码有问题,或者两个集合的分布本来就不一样。先怀疑代码再怀疑数据 给的顺序是先查代码:把测试集临时换成训练集再评一次,如果分数仍然不同,那几乎只能是 bug;经验上常见的是打乱顺序不一致,或某个分支漏了归一化等预处理。这个检查很便宜,却能把一大类“看起来像分布问题”的情况直接排除。

排除 bug 之后再看分布。标签或类别占比是最先该画的图:如果切分前没有好好打乱,测试集可能整类缺失。表格数据还可以逐特征比直方图,看哪一维的支撑集错位。图像和文本没法这样比,对抗验证辨分布 提供了通用替代:把“来自训练集还是测试集”当作二分类目标,如果模型能轻易分开,就说明两者可区分。理想结果是分不开,分数接近随机水平;越容易分开,差异越系统性,特征重要性还能指出是哪些维度在“告密”。要注意这个任务天然不平衡——训练集通常远大于测试集,所以看 AUC 而不是准确率,并做分层或加权。

找到差异之后怎么补?表格数据可以逆向做特征选择:逐个移除被告密的特征,看差异是否消失,同时盯住主任务性能,因为有些虚假特征与目标高度相关,删了会掉点。图像文本则更适合剔除与测试集明显不同的训练实例。分布差异怎么补救 强调的是边界:如果差异来自采集流程或标注口径本身,删特征只是掩盖症状,得回到数据源头改。

原书依据 · 3 处

第30章 有限的有标签数据

学习曲线是这一章的入口:如果模型过拟合、且曲线显示再加数据还有收益,那么“标更多数据”仍然是最有效的办法。问题在于它常常不可行——贵、慢,或者数据根本拿不到。标签不够时的技术地图 把剩下的路按“借什么”分成四类:让每个标签更值钱(主动学习)、借无标签数据(自监督、半监督、弱监督、自训练)、借别的数据或任务(迁移、多任务、小样本与元学习)、改模型先验或数据本身(更强归纳偏置、增强、合成数据、特征工程)。

迁移学习最常用,但它要求源域与目标域相关,而且模型权重要可更新——决策树这类非参数模型没有可微参数,微调这套就用不上。迁移学习不是万能 还点了微调策略的取舍:全量微调在极小数据集上容易过拟合,冻结主干只训头部更稳但容量受限。

主动学习看起来最“聪明”:不预先标完,而是让模型挑最不确定的样本交给人。主动学习挑什么样本 提醒了一个反直觉的坑——深度网络对分布外样本会过度自信,直接用 softmax 概率挑样本会漏掉真正该标的点,需要 MC dropout、集成或密度估计来替代。

弱监督、半监督、自训练三者最容易混。弱监督与半监督的分界 用一张表把它们分开:弱监督靠外部标签函数(规则、关键词、第三方模型),噪声大、覆盖不全;半监督靠数据自身结构,要求至少有一部分已标注;自训练用模型自己产伪标签,介于两者之间。书里的垃圾邮件例子给了一条纪律:规则只用来判正,不要用“没命中”去判负,否则噪声会被当成真标签固化进模型。

选择哪一种,取决于你手上有什么:标注预算、无标签数据、可复用的预训练权重。这也是本章建议部分的立场——先评测、再按缺口选技术。

原书依据 · 4 处

后记

后记很短:把全书重走一遍,再交还给读者。它把内容概括为从基本概念(嵌入、潜空间、表征)到高级技术与架构(自监督、小样本、Transformer),再到工程实践(部署、多 GPU、以数据为中心)与专门领域(CV、NLP)的一条线。

全书的三条主线 把这条线压成三个主题:表征是共同语言,第 1 章的嵌入会在自监督与多模态里回来;数据决定上限,第 21 章的数据质量与第 29、30 章的分布不一致、标签不足是同一件事;评估是决策工具,第 28 章的 k 不是数字游戏。

它的作用是让 30 章不再是孤立话题,并给了读法:不必顺序重读,按“现在卡在表征、训练、评估还是数据哪一环”回查。

原书依据 · 1 处

附录 练习答案

附录不是新的一讲,而是前 30 讲课后练习的参考答案汇编。它在全书中的位置更像一张“对账表”:正文为了叙事顺畅,把许多推导、量级核算和基线选择压缩成一句话,附录则把这些被跳过的中间步骤重新摊开。通读下来,这些答案的增量价值集中在三处。

第一处是把“感觉”变成“账目”。Adam 到底多占多少显存、BatchNorm 到底多加多少参数、自注意力为什么是平方级,正文都只给结论,答案里给了可以自己复算的算式(Adam 的显存要按参数翻倍、批归一化参数按通道翻倍、自注意力复杂度为何是平方)。这类题的意义不在于记住 53852 或 290 这两个数字,而在于知道开销挂在哪一维上:优化器状态随参数量线性翻倍,归一化参数随通道数线性增长,注意力则随序列长度平方膨胀。三者对应的优化手段完全不同。

第二处是澄清评价指标的数学性质。MAE 被人质疑“不是合格的距离”,答案用范数公理逐条检验后驳回;RMSE 与 MAE 的优劣则被还原成一个结构性事实——平方会放大误差(MAE 天然满足距离三公理、RMSE 为何总不小于 MAE)。这提醒读者:指标的取舍依据是它对误差分布的敏感方式,而不是习惯或口碑。

第三处是纠正一个极易犯的工程直觉错误。对抗验证判断训练集与测试集是否同分布时,直觉上会把 50% 当作“无差别”的基准,但答案指出基准应是多数类占比(对抗验证的基线不是一半)。类似地,附录里关于置信区间宽度与置信水平的换算、自助法只需推理一次的提速技巧,都属于“读正文时不会卡住、动手时一定卡住”的细节。

因此本单元只挑出六道给出了额外论证、算式或判断依据的题目;其余答案基本是正文结论的复述,不再单独成卡。使用方式上,建议把附录当检查表:每读完一讲,回到对应题号,看自己能否独立写出这条算式或这个基线,而不是读懂答案。

原书依据 · 6 处

跨章综合

线索一:同一组取舍在四个尺度上重复。第 5、6 讲的过拟合处理(数据 vs 容量),第 28 讲的 k 值(偏差 vs 方差 vs 算力),第 18 讲的适配阶梯(成本 vs 效果),第 22 讲的推理加速(吞吐 vs 延迟)——形式不同,结构相同:没有免费的一维提升。把这四个”三角”并排放在一起,就会发现工程判断的训练方式其实是一致的:先确定不能牺牲的那一维,再在剩下的两维上找可行点。

线索二:第 10 讲的随机性解释了为什么后面的评测必须带区间。同样的代码与配置跑出不同模型,来源有五类(初始化、数据划分、非确定性算子、算法实现选择、硬件数值差异)。既然单次训练的结果本身是随机变量,那么第 25、26 讲的置信区间与共形预测就不是学术点缀,而是任何”A 比 B 好 0.5 个点”这类结论的前提。第 29 讲的训练/测试反转,也可以看作随机性与泄漏叠加后的极端表现。

线索三:从”模型为中心”到”数据为中心”的迁移贯穿全书。第 2 讲用无标签数据造监督信号,第 5 讲用更多数据压过拟合,第 13 讲说 ViT 的短板是数据量,第 21 讲把这条路线命名为以数据为中心,第 30 讲在标签稀缺时给出四条借数据的路。这条迁移的代价在第 15 讲露出来:文本增强的每一种方法都有自己的失败模式,改数据比改模型更难验证。

线索四:附录是这套判断的对账表。正文为了叙事顺畅,把很多量级核算压成一句话(Adam 多占多少显存、自注意力为什么是平方级、BatchNorm 多加多少参数);附录的练习答案把这些中间步骤摊开。读正文时若某处结论来得太快,附录往往就是它被省略的推导。这也解释了为什么本书可以当参考书反复查:问题在目录,证据在附录。

发散与实践

这本书的价值不在记住三十个答案,而在把其中几条判据变成自己的检查动作。围绕最耐用的三条,写了三张实践卡(ideas/ 目录,不计入知识卡):

  1. 用学习曲线判断该加数据还是改模型(第 5 讲):在自己一个过拟合的模型上跑 20%/40%/60%/80%/100% 训练集的学习曲线,看验证分数是否还在上升,据此决定下一步是标数据、做增强还是加正则。它检验的是第 5 讲那条优先级在自己数据上是否成立。
  2. 给模型指标加一个置信区间(第 25 讲):用测试集准确率与样本量算出正态近似区间,再用 bootstrap 复算一次,比较两者差异;对样本量小、类别不平衡的结果,改用 bootstrap 或共形预测。产出是一张”指标 + 区间 + 方法”的表,用来替代单点数字汇报。
  3. 给线上模型做一次分布偏移体检(第 23 讲):按协变量/标签/概念漂移三类分别取代理指标(输入统计、标签分布、分组准确率),设定告警阈值并回溯最近一个月的漂移情况。它把”上线后变差”从事故复盘变成例行监测。

三张都只是计划交付:卡片写清了行动步骤、可检查产出与复盘判据,尚未执行,不声称已获得任何实验结果。读者延伸一句:三十讲的答案是作者在特定工具与硬件下的判断,机制部分耐久,具体数值(显存占用、加速比、阈值)都应回到自己的环境重测。

生成进度与管理记录

大模型技术30讲

执行模式:light

建档进度:done

Skill 版本:v24

整体评级

信息浓度:高。三十讲每讲都以一个具体问题开篇,答案在前三段给出,随后解释为什么——而不是罗列术语。例如”何时能用卷积层替代全连接层”不是给结论,而是指出两种极限情形(核尺寸等于输入尺寸、1×1 卷积),并说明二者共同的机制是逐元素相乘求和与点积同构、差别只在权重是否在空间上被复用。再如”ViT 为什么需要大数据集”把根因落在归纳偏置上:CNN 把局部性、权值共享、平移等变写进结构,ViT 把自由度交给数据。这类回答密度很高,且几乎每讲都附练习并在附录给出核算过程。

稳定性:中。机制层面的判断(自注意力的动态权重、彩票假设的剪枝-重置流程、置信区间的频率派含义、度量三公理、k 的偏差-方差-算力交换)五到十年不会过时;但涉及具体数字与工具的部分会老化——多 GPU 模式的通信开销、推理加速的加速比、预训练模型的六档适配成本、生成指标与人类判断的相关性,都随硬件与模型换代而变。作者在前言里已声明只讲模式不讲版本,这让正文的判断比同类书耐久,但仍需在自己的环境重测具体数值。

四象限定位:高浓度 × 中稳定 → 工程实践(第二级别)。第五部分(评测与统计)接近经典原理,第四部分(生产与部署)最接近工程实践,整体按中位定级。

内容形态:主体为问题思考型——全书三十讲都以”是什么/为什么/怎么选”的提问开篇,再给判断标准与展开,符合”问题→分析→方案与权衡”的结构,因此逐讲按问题卡与普通读书笔记卡混合取材;局部为操作参考型(第 11 讲数参数量、第 22 讲推理加速手段按对象分组罗列)。

整书笔记

阅读正文、章节讲解、全书主线、跨章综合与全部卡片/原文定位见 _book_note.md。覆盖与候选取舍见 _coverage.md。

章节进度追踪

章节号 章节标题 状态(pending/done) 卡片数
00 序言 done 1
00 致谢 done 0
00 前言 done 4
01 第1章 嵌入、潜空间和表征 done 2
02 第2章 自监督学习 done 4
03 第3章 小样本学习 done 3
04 第4章 彩票假设 done 2
05 第5章 利用数据来减少过拟合现象 done 4
06 第6章 通过改进模型减少过拟合现象 done 4
07 第7章 多GPU训练模式 done 4
08 第8章 Transformer架构的成功 done 3
09 第9章 生成式AI模型 done 5
10 第10章 随机性的由来 done 1
11 第11章 计算参数量 done 3
12 第12章 全连接层和卷积层 done 2
13 第13章 ViT架构所需的大型训练集 done 4
14 第14章 分布假设 done 3
15 第15章 文本数据增强 done 3
16 第16章 自注意力 done 4
17 第17章 编码器和解码器风格的Transformer架构 done 4
18 第18章 使用和微调预训练Transformer done 5
19 第19章 评测生成式大模型 done 4
20 第20章 无状态训练与有状态训练 done 3
21 第21章 以数据为中心的人工智能 done 3
22 第22章 加速推理 done 3
23 第23章 数据分布偏移 done 2
24 第24章 泊松回归与序回归 done 2
25 第25章 置信区间 done 4
26 第26章 置信区间与共形预测 done 3
27 第27章 合适的模型度量 done 3
28 第28章 k折交叉验证中的k done 3
29 第29章 训练集和测试集的不一致性 done 3
30 第30章 有限的有标签数据 done 4
31 后记 done 1
32 附录 练习答案 done 6

合计 109 张知识卡(普通读书笔记卡 72 / 结构图卡 16 / 问题卡 12 / 操作参考卡 9)。致谢一章 0 卡,理由见下表与 _coverage.md。

非正文排除

spine项 类型 排除理由
spine[0] titlepage.xhtml 封面 仅”Cover”占位,无正文
spine[1] chapter01.xhtml 献词页 46 字符的题献,无知识内容
spine[5] / [16] / [20] / [27] / [32] chapter01_0004/0015/0019/0026/0031.xhtml 部分扉页 ×5 分别只有 29 / 21 / 23 / 21 / 29 字符,仅重复”第N部分 XXX”标题,无导语与论述
spine[42] daima.xhtml 字体版权页 Adobe 字体授权声明,与本书内容无关

另:致谢(spine[3],320 字符)列入正文并读完,因只交代成书协作与评审,无独立知识内容,记 0 卡;理由已写入 _coverage.md 对应章。

待关联术语

术语名 出现章节 一句话语境
— — 无合格待关联术语:三十讲中凡有实质解释的概念已成卡;仅点名未展开的工具与产品按下方引用文献登记,不重复占两表

引用文献

标题 类型(书/论文/框架/源码项目) 出现章节 一句话语境
RLHF 框架 第18章 作为适配预训练模型的最高一档(奖励模型加 PPO)被点名,未展开训练细节
BERTScore 论文 第19章 作为外在评价指标之一被提及与对比,未展开其嵌入相似度计算
迭代幅值剪枝 框架 第4章 作为挖出”中奖彩票”的手段被点出流程(训练→剪小权重→重置初值→重训),未给完整实现

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明
— — — — 全书不涉及转账、扣款、限额、清结算等资金并发场景,无此类案例

实践卡进度

序号 实践标题 实践方式 状态(pending/done) 关联章节 产出
1 用学习曲线判断该加数据还是改模型 真实任务 done 第5章 → 笔记 idea-001(计划交付,未执行)
2 给模型指标加一个置信区间 真实任务 done 第25章 → 笔记 idea-002(计划交付,未执行)
3 给线上模型做一次分布偏移体检 真实任务 done 第23章 → 笔记 idea-003(计划交付,未执行)

实践候选筛选:done

未采用候选及原因:①「按第 4 讲复现彩票假设」——需完整训练多个大网络并做多轮剪枝重训,单机算力与时间不允许,且结论高度依赖初始化,改为读书笔记条目;②「按第 7 讲实现张量并行」——需多卡环境,产出(一个并行实现)不足以检验书中判据;③「按第 18 讲跑完六档适配阶梯」——成本过高且与第 1 张实践卡的学习曲线判断部分重叠;④「按第 26 讲实现共形预测」——已并入第 2 张实践卡的”改用 bootstrap 或共形预测”分支,避免碎卡。其余候选(如文本增强三法、参数量核算脚本)缺少可量化的验收口径,未单独成卡。

遗留与局限

  1. 本地 EPUB 未包含版权页,publisher / publication_date / edition / isbn 无法从原书核验,front matter 显式记为 null;书名与作者取自书名页与正文署名。
  2. 书中插图(自注意力示意、编解码器数据通路、六档适配阶梯、偏移判别表等)以图片形式存在,结构图卡的节点与边只据周边文字与正文描述重建,可能少于原图。
  3. 附录的练习答案只对其中给出增量论证的题目成卡(6 张),纯复述正文结论的答案按”不重复生卡”处理,未逐题立卡——这一点在 _coverage.md 附录单元中记录。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。