此笔记位置已失效,请从目录继续阅读。
全书导读
本书是深度学习的入门地图。它先把学习问题表述为选择模型、定义损失、从数据优化参数,再介绍图像、序列和生成任务常用的神经网络。随后讨论模型部署和研究中的困难:训练数据与现实不同、模型被攻击、学习新任务后遗忘,以及如何压缩和解释模型。最后一章以早期 ChatGPT 为案例,帮助理解预训练和人工反馈,产品细节须按出版时代阅读。
初学者可先读第 1–3 章掌握训练与诊断,再按数据形式选第 4–7 章;想理解内容生成可连读第 8–11 章。第 12–18 章彼此相对独立,可围绕鲁棒、迁移、交互学习及部署需要选读。本笔记保留正文中的条件及已发现的图文问题。
全书主线
神经网络是一族带参数的函数:输入可以是图片、文本或观测,输出可以是类别、序列或动作。训练不是直接写出完整规则,而是先设计衡量误差的目标,再利用数据和优化方法更新参数。训练损失下降不等于实际问题解决,还要通过独立数据判断泛化,并区分模型能力不足、优化困难和过拟合。
不同结构在这个共同框架中加入不同假设。卷积利用局部和共享结构处理图像,循环网络与注意力处理顺序信息,Transformer 用注意力组合上下文;生成模型学习产生符合数据分布的样本,自监督方法则从数据构造训练目标。随后,强化学习把一次性预测扩展为与环境交互、累积奖励的决策;迁移、持续学习、压缩、安全和可解释性则关注模型离开训练实验后能否继续可靠工作。
前言
本书由李宏毅“机器学习”公开课的学习笔记发展而来,编者以直观解释和公式推导帮助初学者理解深度学习。全书前 11 章从机器学习基础走向典型模型,后 8 章介绍相对独立的进阶方向;前言建议将理论学习与配套代码实践结合。本节主要说明成书背景与使用方式,不生成知识卡。
第1章 机器学习基础
机器学习可理解为寻找把输入映射到输出的函数:例如将语音信号映射为文字。按输出形式,回归预测数值,分类从预设类别中选择;结构化学习则产生文章、图像等具有内部结构的结果。机器学习寻找函数、回归与分类的输出、结构化学习的输出分别保留这些基础概念。
以视频观看量预测为例,先选一个带未知参数的模型,用历史观看量构造特征和标签,再用损失函数比较预测与真实值的差距,最后通过梯度下降调整参数。学习率控制每一步的更新尺度;梯度下降可能停在局部最小值,因此训练结果未必是全局最优。模型与参数特征、损失衡量参数、梯度下降更新参数、学习率是超参数分别展开模型、损失及优化。
线性模型把各个输入特征加权求和并加上偏置。观看量数据有每周周期,因而可试着将前 7 天的观看量分别作为输入;比较训练数据与未见数据的损失,才能观察加入特征是否有帮助。线性模型组合特征解释这一例子。
直线模型不能表达先升后降的关系,这是模型形式带来的偏差。书中通过组合多个形状不同的 sigmoid 曲线来近似更复杂的曲线;多个输入及参数可用矩阵和向量组织。训练时可以按批量计算梯度,每处理完全部批量为一回合,每个批量通常带来一次参数更新。模型偏差限制表达、组合非线性函数、批量与训练回合进一步解释这些概念。
ReLU 是将输入与零比较、输出较大值的激活函数。把线性变换和激活反复组合,就得到多层网络;每一层的输出成为下一层的输入。观看量案例中,增加到四层后训练损失继续下降,未见日期的损失却反而上升,说明仅凭训练表现不足以选择模型。ReLU激活函数、深层网络的构造、训练误差与过拟合进一步解释激活、网络深度与过拟合。
本章最终把流程归结为三步:确定带参数的函数,定义衡量预测误差的损失,再优化参数;之后将模型用于未见输入。书中用未见日期比较模型的例子有助于理解泛化,但实践中若反复利用同一组数据选择模型,还应另留独立测试集作最终评估。
原书依据 · 14 处
- 机器学习基础 · 查看原书依据
- 机器学习基础 · 查看原书依据
- 机器学习基础 · 查看原书依据
- 机器学习基础 1.1 案例学习 · 查看原书依据
- 机器学习基础 1.1 案例学习 · 查看原书依据
- 机器学习基础 1.1 案例学习 · 查看原书依据
- 机器学习基础 1.1 案例学习 · 查看原书依据
- 机器学习基础 1.2 线性模型 · 查看原书依据
- 机器学习基础 1.2.1 分段线性曲线 · 查看原书依据
- 机器学习基础 1.2.1 分段线性曲线 · 查看原书依据
- 机器学习基础 1.2.1 分段线性曲线 · 查看原书依据
- 机器学习基础 1.2.2 模型变形 · 查看原书依据
- 机器学习基础 1.2.2 模型变形 · 查看原书依据
- 机器学习基础 1.2.2 模型变形 · 查看原书依据
第2章 实践方法论
模型表现不好时,先看训练损失:如果训练损失大,可能是模型本身表达范围不够,也可能是优化未找到好参数。比较简单基线与更灵活的模型有助于区分,但比较须确认复杂模型确实能够表达基线解。区分偏差与优化进一步说明这一判断。
如果训练表现好而未见数据表现差,可能发生过拟合。增加有代表性的训练数据、合理做数据增强或限制模型自由度都可能有帮助;约束太强又会带来模型偏差。数据增强依赖任务和限制模型应对过拟合说明各自的条件。
选择模型时,可把训练数据划出验证集,或采用 K 折交叉验证:轮流让每一份数据作验证,汇总各次结果后选择模型;最终用独立测试集评估。训练和目标数据的分布不一致又是另一类问题,仅增加旧分布样本未必有效。见交叉验证选择模型和分布不匹配与泛化。
本章图 2.5 与文字提到的“五层”数据不一致:图中只显示一至四层;上述判断依赖一般比较条件,不把该具体数字作为证据。
第3章 深度学习基础
本章从优化停滞出发,讨论临界点、学习率及归一化。梯度为零的临界点可能是局部最小值,也可能是鞍点;鞍点在不同方向可有上升和下降趋势,因而不能把每次梯度停滞都归因于局部最小值。鞍点与局部最小值解释它们的区别。
黑塞矩阵由二阶偏导数组成,能描述临界点附近的局部曲率。对满足光滑条件的损失函数,特征值全正或全负分别支持严格局部最小或最大判断;正负混合则是鞍点,负特征值对应的方向可使附近损失下降。存在零特征值时,这套判据可能无法定论;大型网络完整计算黑塞矩阵也很昂贵。黑塞矩阵判断临界点列出判断边界。
每次用一个批量的数据估算梯度时,批量越小,更新往往越有噪声;较大批量可以利用并行,但每轮更新更少。书中以实验讨论噪声、优化和泛化的关系,具体优劣仍依赖训练设置。动量法则把前一步的移动保留一部分,再叠加当前负梯度,使更新方向带有历史信息。批量大小的权衡与动量累积历史梯度说明两种机制。
损失在陡窄的谷地中可能因为步长过大而振荡,即使梯度不为零也无法继续降低;把统一学习率调得很小又可能令平坦方向进展缓慢。陡谷中的学习率解释这一问题。书中示意的自适应更新按每个参数的历史梯度尺度缩放步长;其 AdaGrad 示意公式使用历史梯度平方的均值,而 RMSProp 更重视近期梯度。Adam 结合方向动量与尺度调整。按历史梯度调整步长、RMSProp重视近期梯度和Adam结合动量与缩放保留各自机制。
学习率还可以随训练进程调度:衰减让后期步长缩小,预热先从小步长逐步增大,再进入后续调度。见学习率调度与预热。
优化器中的动量汇总带符号的历史梯度,而用于缩放的平方梯度统计关注幅度,两者作用不同。分类任务中,对没有天然次序的类别可用独热向量表示标签;网络输出每类分数后,softmax 将其转换为总和为一的分布。交叉熵再衡量预测分布与标签的差异:对于独热标签,它惩罚正确类别概率过小。独热编码表示类别、Softmax归一化分数、交叉熵衡量分类预测分别解释编码、归一化和损失。
特征尺度差异可能让损失对不同参数方向的变化十分不均衡。标准化按维度减均值并除以标准差,能让尺度更易比较。批量归一化将类似操作用于网络中间特征:训练时用批量统计量,接着用可学习的缩放和偏移调整;推断时通常用训练中积累的运行统计量。特征标准化与尺度和批量归一化训练与推断分别说明两者。
原始批量归一化论文提出内部协变量偏移解释,书中也介绍了后续研究对该解释的质疑,以及损失表面平滑这一视角。批量归一化为何有效保留这种证据边界。本章将优化方法、分类目标与特征尺度连接起来:它们分别改变更新方式、训练目标和表示尺度,共同影响训练。
原书依据 · 15 处
- 深度学习基础 3.1.1 临界点及其种类 · 查看原书依据
- 深度学习基础 3.1.2 判断临界值种类的方法 · 查看原书依据
- 深度学习基础 3.2 批量和动量 · 查看原书依据
- 深度学习基础 3.2 批量和动量 · 查看原书依据
- 深度学习基础 3.3 自适应学习率 · 查看原书依据
- 深度学习基础 3.3.1 AdaGrad · 查看原书依据
- 深度学习基础 3.3.2 RMSProp · 查看原书依据
- 深度学习基础 3.3.3 Adam · 查看原书依据
- 深度学习基础 3.4 学习率调度 · 查看原书依据
- 深度学习基础 3.6.1 分类与回归的关系 · 查看原书依据
- 深度学习基础 3.6.2 带有 softmax 函数的分类 · 查看原书依据
- 深度学习基础 3.6.3 分类损失 · 查看原书依据
- 深度学习基础 3.7 批量归一化 · 查看原书依据
- 深度学习基础 3.7.1 放入深度神经网络 · 查看原书依据
- 深度学习基础 3.7.3 内部协变量偏移 · 查看原书依据
第4章 卷积神经网络
图像可以用高、宽和颜色通道组成的数据表示。将所有像素直接接入全连接网络会产生大量权重;卷积网络利用局部模式和同一模式可能出现在不同位置的特点,把计算限制在局部感受野,并在空间位置之间共享滤波器参数。图像的空间与通道、局部感受野和共享滤波器检测模式分别解释输入、局部连接和共享。
滤波器在局部输入上逐项相乘求和,滑动后得到一张特征映射;多个滤波器产生多个通道。步幅决定移动间隔,填充处理边界;叠加多层后,后层可以整合更大范围的信息。卷积步幅与填充与卷积特征映射与叠层解释这一过程。
汇聚按区域取最大值或平均值,能缩小空间尺寸和计算量,但可能丢失位置细节。书中以围棋说明架构应适合任务:局部棋形可复用,而落点位置不能随意丢弃,因此所介绍的棋盘网络不使用汇聚。卷积本身也不能保证缩放或旋转不变,可通过符合任务的增强增加这类样本。见汇聚的取舍、卷积架构依赖任务和卷积不保证旋转不变。
第5章 循环神经网络
在槽填充任务中,系统要从一句话找出目的地、时间等信息。同一个“上海”在“抵达上海”和“离开上海”中含义不同,只看当前词的前馈网络无法区分上下文。词先转换成向量;独热编码可以标识词表里的词,但对词表外的词需要额外表示方式。词表外词的表示说明这种限制。
循环神经网络逐个处理序列,把上一步隐状态与当前输入结合,再产生输出及新的状态。同一网络的参数在各时间步共享,所以相同当前词也可能因为先前状态不同而得到不同结果。循环状态保存上下文进一步说明状态如何保存上下文。
循环网络还可堆叠多层,也可改变反馈内容:Elman 网络反馈隐藏状态,Jordan 网络反馈输出。双向网络分别从句首和句尾处理序列,把两个方向的信息用于预测;它能使用完整句子的前后文,但要求预测时有后续输入。循环网络的反馈位置和双向循环网络的上下文解释这些差异。
LSTM 给循环网络的记忆状态增加门控:输入门决定新信息写入多少,遗忘门决定旧状态保留多少,输出门决定向外输出多少。门通常产生 0 到 1 之间的连续值;遗忘门越接近 1,旧状态保留越多。LSTM门控记忆解释新旧信息怎样组合。
在一层中,多个 LSTM 单元可并行计算,输入经不同变换产生候选信息和各门信号;前一时刻的隐藏状态参与下一时刻的门控。书中还展示可将记忆状态送入门控的 peephole 变体与多层 LSTM,并简述门数更少的 GRU。LSTM门控输入与反馈说明这些连接。
训练时可以对序列各位置的预测计算损失,再将循环计算按时间展开,使梯度沿时间反向传播并更新共享参数。反复应用转移关系会使远距离影响变得极小或极大;梯度裁剪限制过大更新,但不能修复梯度消失。随时间反向传播、循环梯度的消失与爆炸、梯度裁剪限制更新解释训练和稳定性。
LSTM 的加性记忆路径有助于跨时间保留影响;遗忘门等因素仍可能使梯度衰减,所以不能保证彻底消除梯度问题。门控缓解长期梯度问题说明这一边界。
序列模型可以逐词输出标签,也可以把整段输入映射成一个情感类别。语音识别常有输入帧与输出字符长度不一致、对齐未知的问题:CTC 引入空白并汇总可行对齐;序列到序列模型则可逐步生成长度不预先确定的目标,直到结束符。词袋会忽略词序,而序列模型可以利用顺序。序列任务的输入输出、CTC处理未知对齐、序列到序列生成、词袋丢失顺序分别展开这些场景。
原书依据 · 14 处
- 循环神经网络 5.1 独热编码 · 查看原书依据
- 循环神经网络 5.2 什么是RNN · 查看原书依据
- 循环神经网络 5.4.1 Elman 网络和 Jordan 网络 · 查看原书依据
- 循环神经网络 5.4.2 双向循环神经网络 · 查看原书依据
- 循环神经网络 5.4.3 LSTM · 查看原书依据
- 循环神经网络 5.5 LSTM网络原理 · 查看原书依据
- 循环神经网络 5.6 RNN的学习方式 · 查看原书依据
- 循环神经网络 5.6 RNN的学习方式 · 查看原书依据
- 循环神经网络 5.6 RNN的学习方式 · 查看原书依据
- 循环神经网络 5.7 梯度消失与爆炸 · 查看原书依据
- 循环神经网络 5.8.1 多对一序列 · 查看原书依据
- 循环神经网络 5.8.2 多对多序列 · 查看原书依据
- 循环神经网络 5.8.3 序列到序列 · 查看原书依据
- 循环神经网络 5.8.3 序列到序列 · 查看原书依据
第6章 自注意力机制
许多输入不是单个固定向量,而是长度可变的一组向量:句子可表示为词向量序列,语音可切成一系列帧,图中的每个节点也可以有一个向量表示。词嵌入与独热编码不同,能够在向量空间中表达部分词语关系;词嵌入表示语义说明其含义。
输出形态取决于任务:词性标注可为每个词给一个标签,情感分析给整个序列一个标签,翻译则生成长度不预先固定的另一序列。
自注意力通过学习得到的投影,把每个位置表示成查询、键和值。某个位置的查询与其他位置的键比较,所得分数经归一化成为权重,再按权重汇总各位置的值,产生结合上下文的表示。自注意力查询键值进一步解释三者的分工。
多头注意力让多个独立投影分别计算关联并汇总各自的值,再拼接输出;它提供多个学习关系的视角。由于内容自注意力本身没有位置顺序,书中还介绍将位置向量加到输入表示中;正余弦是构造方法之一,也可以学习位置表示。多头注意力并行视角与位置编码补充顺序分别说明这两项扩展。原书图 6.34 的资源显示为无关公式,本处依据正文及图 6.32–6.33 记录,不依赖该图。
全连接注意力的位置对数量随序列长度平方增长;截断注意力只聚合邻近范围,节约计算但限制单层可见范围。卷积也使用局部范围和共享权重,而注意力的权重可随输入变化;两者可组合,效果取决于任务和训练条件。局部注意力限制范围和注意力与卷积的取舍说明这些取舍。
循环网络通过时间递推传递状态,而自注意力可直接关联远处位置并在完整输入可用时并行计算。图数据可进一步用已知边限制注意力的邻居范围;归一化时须排除不允许的位置。注意力与循环的依赖和图结构约束注意力解释与循环、图结构的关系。本章从变长向量序列出发,以查询、键、值构造上下文表示,再说明多头、位置和计算范围如何改变该机制。
第7章 Transformer
序列到序列模型把输入序列映射为输出序列,适用于语音识别、翻译、语音合成和对话,输出长度可与输入不同。很多文本任务也可以表述成问答;句法树可以先用括号序列表示再生成。但统一接口并不保证优于每个任务的专用模型。任务转成问答序列和树结构序列化分别说明任务转换和结构化输出。
多分类描述候选类别多于两个,多标签则允许一个对象同时属于多个类别;可生成标签序列,也可分别预测每个标签。多分类与多标签说明区别。
原始 Transformer 采用编码器—解码器结构:编码器处理输入序列,解码器使用编码结果生成输出。编码器反复堆叠块,每块先用多头自注意力汇集序列信息,再用逐位置前馈网络变换,并通过残差连接和层归一化组织子层。层归一化使用单个位置的特征维度统计,与跨样本统计的批量归一化不同。编码器与解码器分工、Transformer编码器块、层归一化与批量归一化分别解释分工、块结构和归一化。
自回归解码从开始符出发,利用已生成的前缀逐步预测词元,直到结束符;因果掩码确保当前位置不能看到未来目标。非自回归方式可并行预测多个位置,但需要处理长度及输出一致性。自回归解码与终止、因果掩码防止看未来与非自回归解码的取舍比较这些机制。
编码器—解码器注意力使用解码器表示作为查询,编码器输出产生键和值,使每一步生成可以提取不同输入信息。训练时教师强制提供真实的历史目标,并计算各位置的预测损失;推断时则依赖模型自己生成的前缀。见编码器解码器注意力和教师强制训练解码器。原文 7.6 个别句子把解码器写成编码器,图 7.28–7.29 与上下文显示这里应为解码器。
书中还介绍了若干面向具体问题的技巧:复制机制从输入中保留罕见词;引导注意力利用语音任务近似单调对齐的条件;束搜索保留多个候选,而开放式生成有时需要随机性。复制机制利用输入、引导注意力利用对齐、贪心与束搜索、生成时随机性与任务解释各自用途和边界。
逐词交叉熵与 BLEU 等整句指标并不相同,可以研究用序列奖励优化;教师强制与推断前缀不同又产生曝光偏置,计划采样让训练接触部分模型输出。序列指标与训练目标和计划采样与曝光偏置说明这两项训练问题。全章从任务表示出发,将编码器、自回归或非自回归解码、跨注意力与训练目标连接为序列生成流程。
原书依据 · 17 处
- Transformer 7.1.4 问答任务 · 查看原书依据
- Transformer 7.1.5 句法分析 · 查看原书依据
- Transformer 7.1.6 多标签分类 · 查看原书依据
- Transformer 7.2 Transformer结构 · 查看原书依据
- Transformer 7.3 Transformer编码器 · 查看原书依据
- Transformer 7.3 Transformer编码器 · 查看原书依据
- Transformer 7.4.1 自回归解码器 · 查看原书依据
- Transformer 7.4.1 自回归解码器 · 查看原书依据
- Transformer 7.4.2 非自回归解码器 · 查看原书依据
- Transformer 7.5 编码器-解码器注意力 · 查看原书依据
- Transformer 7.6 Transformer的训练过程 · 查看原书依据
- Transformer 7.7.1 复制机制 · 查看原书依据
- Transformer 7.7.2 引导注意力 · 查看原书依据
- Transformer 7.7.3 束搜索 · 查看原书依据
- Transformer 7.7.4 加入噪声 · 查看原书依据
- Transformer 7.7.5 使用强化学习训练 · 查看原书依据
- Transformer 7.7.6 计划采样 · 查看原书依据
第8章 生成模型
当同一输入可能对应多个合理结果时,只输出一个平均预测可能使画面模糊。生成器把随机采样映射成输出样本,有条件生成还接收条件输入;不同随机输入有机会产生不同样本。生成对抗网络再引入判别器,让它学习区分真实与生成样本,生成器则根据反馈改进。生成器表达多种可能和生成对抗网络的分工说明随机性和对抗分工。原书图 8.5 的“无条件生成”示意仍画有 x 输入,与正文“仅输入 z”不一致,此处按正文区分条件与无条件。
训练分两步交替:固定生成器,用真实与生成样本训练判别器;再固定判别器参数,让反馈经过它传回生成器,以改进生成结果。两者不断变化,因此训练是否稳定仍需另行判断。
书中展示了生成动漫和真实人脸的案例。将两个潜在输入之间的向量依次送入生成器,输出可能呈现连续的表情或姿态变化;这种观察不能证明任意插值有效,也不能单凭图像判断训练集是否出现过类似样本。潜在向量插值说明这一方法。书中也展示了生成物体出现不合理组合的例子,说明逼真性仍有局限。
从分布角度看,生成器希望产生与真实数据相近的分布。即使不知道两种分布的显式公式,也可以采样并训练判别器区分它们;原始 GAN 的理想判别目标与 JS 散度有关。这里的理论关系依赖理想判别器等条件,有限训练得到的分数不是精确距离。判别器估计分布差异解释这一限制。
WGAN 以运输成本衡量分布差异:支撑不重叠时 JS 散度饱和,Wasserstein 距离仍可能反映位置差异。对偶形式要求判别函数为 1-Lipschitz;网络只能近似求解。权重裁剪和采样点梯度惩罚是不同约束手段,后者不能证明全局约束。详见Wasserstein距离与分布支撑、WGAN的判别函数约束、WGAN梯度惩罚的作用与边界。
生成器与判别器的训练可能失衡;文字中的离散选择更会阻断普通反向传播,参见离散词元阻断直接反向传播。评估时还须区分单张质量、总体覆盖和记忆:生成模型的模式崩塌描述多样性不足,Inception分数与FID的局限说明指标的适用边界。原书有关某种模型“最好”的判断具有时代性,不作为通用结论。
要控制输出内容,条件GAN需要检查条件匹配说明判别器也要检查条件与结果是否匹配。没有成对样本时,CycleGAN 以目标域对抗训练和双向往返重建建立约束;循环一致性不能确定期望映射说明这个约束无法唯一确定语义映射。原书单向示意仅画一个判别器,双向完整结构含两个。
原书依据 · 12 处
- 生成模型 8.1.1 生成器 · 查看原书依据
- 生成模型 8.1.2 判别器 · 查看原书依据
- 生成模型 8.3 GAN的应用案例 · 查看原书依据
- 生成模型 8.4 GAN的理论介绍 · 查看原书依据
- 生成模型 8.5 WGAN算法 · 查看原书依据
- 生成模型 8.5 WGAN算法 · 查看原书依据
- 生成模型 8.5 WGAN算法 · 查看原书依据
- 生成模型 8.6 GAN训练的难点与技巧 · 查看原书依据
- 生成模型 8.7 GAN的性能评估方法 · 查看原书依据
- 生成模型 8.7 GAN的性能评估方法 · 查看原书依据
- 生成模型 8.8 条件型生成 · 查看原书依据
- 生成模型 8.9 CycleGAN · 查看原书依据
第9章 扩散模型
扩散模型的核心是把复杂的生成问题拆成多次去噪:训练时先从真实图片加上已知噪声,网络根据带噪图片和时间步预测噪声;生成时从随机噪声出发逐步反向更新。文本条件可以在每一步告诉网络希望生成什么内容,训练通常需要图文对应数据。
扩散模型从噪声逐步生成介绍从随机噪声反复去噪得到样本,并用时间条件区分噪声程度;扩散模型的自监督噪声预测说明训练时如何利用已知加噪构造监督信号。实际 DDPM 更新含调度系数,书中的直接相减是示意。文本条件扩散生成进一步解释利用图文对提供每步的文本条件。原书图 9.7 资源误显示序列搜索树,与图题无关;依据前后正文及图 9.6、9.8 理解。
第10章 自监督学习
自监督学习从数据本身构造学习目标,不必为每个预训练样本人工打标签。BERT 遮住部分词元,再根据左右文预测它们;训练好的编码器可用少量下游标注数据适配分类、逐词标注或抽取式问答。GPT 式模型则根据前文预测后续词元,能够逐步续写,也可把示例放入上下文引导任务。
自监督从数据构造目标说明从数据构造监督信号;BERT掩码语言模型以预测被掩盖的词元训练双向编码器。下游任务可预训练权重用于下游微调,如抽取式问答预测答案边界;而序列到序列去噪预训练同时训练生成所需的解码器。
语境化表示随上下文变化使相同词元可随上下文变化,多语言预训练也可能产生多语言预训练与跨语言迁移。另一条路线是因果语言模型预测下一词元,并用上下文学习不更新模型参数在推理时通过示例描述任务。基准得分和特定实验支持有限场景的结论,不能直接证明普遍理解能力。
第11章 自编码器
自编码器包含编码器和解码器:前者把输入转为表示,后者尝试从表示重建原输入。若中间表示受到容量限制,模型必须压缩信息;去噪变体以受扰输入重建干净数据。重建得好并不保证特征按照人希望的语义分离。
自编码器通过重建学习表示说明编码、瓶颈和重建;去噪自编码器重建干净输入把受扰输入恢复为原始目标。隐表示可以用于压缩,但有用的表示并非重建自动保证。
特征解耦需要额外约束将语音内容与说话者作为期望分离的因素,向量量化将隐表示映射到码本把连续表示映射为有限码本。重建目标不足以保证摘要可读提醒我们可重建的中间文本未必是可读摘要;压缩隐向量并不自动得到生成模型区分重建、压缩与生成。图 11.2 将解码器误标为编码器;11.4 的一段话将内容和声音来源说反,按前面的组合定义理解。
第12章 对抗攻击
对抗攻击研究有人有意改变输入或训练数据时,模型会怎样出错。测试时的扰动可在限制范围内使分类改变;训练投毒则通过影响训练数据制造后续错误。防御应明确攻击者能观察和修改什么,再在相同条件下测量模型表现。
对抗样本的目标与扰动约束定义目标及允许的扰动;梯度符号法与投影约束说明单步梯度与迭代投影。黑箱攻击与迁移性说明不知道参数仍可能借助代理模型,而物理攻击需要跨条件测试要求考虑拍摄和环境变化。训练投毒与测试时对抗扰动区分训练与推理阶段。
预处理防御须评估自适应攻击说明必须针对知晓防御的攻击者验证预处理;对抗训练的适用边界以训练时的攻击样本改善指定范围内的鲁棒性,但不保证抵抗所有攻击。原书“通用攻击覆盖所有图片”“防御一公开就失效”等说法过于绝对,按具体实验与威胁模型解释。
第13章 迁移学习
一个模型从某个来源的数据中训练,部署时面对的数据可能来自不同设备、环境或人群。这样的领域偏移会使同分布测试成绩不能代表部署表现。领域自适应尝试利用目标领域数据调整模型,领域泛化则在训练时没有目标领域数据,尝试从可用领域学习较稳健的规律。
领域偏移影响部署表现解释源领域与部署领域差异;领域对抗训练同时保留任务信息结合源任务损失和领域混淆,但必须考虑领域对齐须考虑类别集合。领域自适应与领域泛化的区别以训练时能否访问目标领域信息区分两类问题。原书图 13.6 对应资源是无关的卷积滤波图,实验任务依正文及表 13.1 理解。
第14章 强化学习
强化学习中的智能体反复观察环境、选择动作并接收奖励,目的是提高长期回报。例如游戏里先移动虽然不立即得分,却能帮助后续瞄准。策略规定怎样选动作,价值函数估计状态或动作未来能获得的回报;二者可以结合形成 Actor–Critic。
强化学习以交互回报评价策略描述智能体和环境的交互及回报;策略梯度用回报加权动作概率通过采样轨迹的动作评分更新策略。即时奖励不能充分评价长期动作解释为何只看眼前奖励不能充分评价动作。
折扣回报权衡近期与远期奖励将未来奖励纳入评价,策略梯度基线降低估计方差用状态基线减小估计波动。同策略与异策略经验复用解释数据收集策略与目标策略的关系,实际经验复用取决于算法。蒙特卡洛与时序差分估计价值比较两种价值学习方法,优势Actor-Critic比较动作与状态基线用价值预测构造相对动作优势。原书将“同策略每更新一次必重新采样”说得过于绝对,此处按算法条件表述。
第15章 元学习
元学习把一次完整任务作为训练样本,目标是让模型在新任务上更容易学习。每个训练任务先用少量支持样本适应,再用查询样本检查适应结果;跨任务的外层优化改进学习过程。最终还须保留从未用于选择的测试任务,才能衡量跨任务泛化。
元学习跨任务优化适应能力通过支持集适应、查询集评价构建内外循环;元学习需要任务级测试隔离要求保留独立测试任务。MAML学习便于快速适应的初始化优化适应后的查询损失,目标不是原书所说的简单“最大化梯度”或“梯度之和”。少样本任务用类别数和样本数描述说明少样本分类的任务表示;学习优化器、架构搜索和度量方法是其他路径。
第16章 终身学习
终身学习关注模型按时间顺序学习新任务时,能否仍保留旧能力。新任务梯度可能改动旧任务依赖的参数,即使同一个模型有能力同时完成两项任务,顺序训练仍可能发生灾难性遗忘。评估时需要记录每次学习后的各任务成绩。
连续学习中的灾难性遗忘描述顺序训练损害旧技能;连续学习要记录任务性能矩阵用性能矩阵追踪各阶段结果。重要参数正则化平衡新旧任务约束重要参数的偏移,GEM利用旧样本约束更新方向利用旧任务样本约束梯度。原书一处称 GEM 只存梯度,与其需保留旧数据的说明矛盾;其约束方向也不能简单概括为梯度相加。
第17章 网络压缩
网络压缩面向内存、计算和延迟受限的部署环境。剪枝去除部分参数或通道,量化减少数值表示精度,蒸馏让小模型学习大模型输出;设计更高效的架构或按输入动态决定计算量也是选择。参数减少与真实设备速度提升之间需要实际测量。
稀疏剪枝不保证实际加速区分参数稀疏与真实硬件加速;知识蒸馏使用教师的软目标用教师输出指导学生,量化用精度换取存储和计算效率降低表示精度或共享码本。深度可分离卷积分解空间与通道计算将空间和跨通道计算拆开,动态推理按资源或输入调整计算则根据预算或样本调整计算路径。这些技术可以组合,最终应同时测试质量、存储和真实延迟。原书 17.4 先称卷积核高度为 2,随后与图均用 3×3,此处采用 3×3 示例。
第18章 可解释性机器学习
可解释性研究怎样理解模型的行为。局部解释针对一次预测,观察哪些输入变化影响输出;全局解释寻找模型或内部单元普遍响应的模式。无论解释是否看起来合理,都要检验它是否忠实、稳定,以及是否只能在局部成立。
局部解释与全局解释回答不同问题区分样本级和模型级问题。显著图反映局部敏感度而非完整原因和SmoothGrad平均多次带噪梯度解释梯度图及平滑,探针表现反映信息可提取性测试表示中的可提取信息。全局激活最大化还受输入正则和生成器先验影响;代理模型的解释受拟合范围限制指出局部代理不能直接说明全局行为。原书把好的解释概括为“让人接受”,但说服力不等于对模型机制的忠实度,需用独立测试验证。
第19章 ChatGPT
本章以早期对话式语言模型说明两个阶段:先从大量文本学习预测后续词元,再通过人工示范和反馈改善回答方式。推理时的输出受输入上下文影响,也可能流畅但有事实错误;是否连接外部工具、知识时效和具体训练方法取决于实际系统。
语言模型训练与推理是不同阶段区分用数据更新参数与根据上下文生成;语言模型的预训练与对齐分工概括预训练和人工反馈的不同作用。生成流畅不等于事实可靠提醒对生成内容进行来源核验;模型编辑和遗忘需要验证副作用提出定点修正和遗忘的评估问题。原书针对早期产品声称不联网、知识停于 2021 年,并推测参数不少于 GPT-3;这些不构成当前产品事实,参数推断也无充分依据。
跨章综合
监督学习、自监督学习和强化学习的区别主要在反馈来源:监督学习用人提供的标签,自监督学习从数据构造目标,强化学习从与环境互动得到奖励。三者都可能使用神经网络和梯度优化,因此模型架构与训练信号是两个不同的选择。BERT 的遮盖预测、自编码器的重建和扩散模型的噪声预测都从数据构造目标,但预测对象和生成过程不同。
训练效果与部署效果之间还有几道门槛。第 2 章用独立数据辨别拟合问题,第 12–13 章进一步指出攻击和领域偏移会改变输入条件;第 16 章说明继续训练还可能损害旧任务。第 17 章的压缩则引入质量、存储和硬件延迟的权衡,第 18 章的解释有助于发现可疑线索,却不能替代针对性验证。
生成模型既包括 GAN 的对抗分布匹配,也包括扩散模型的逐步去噪和语言模型的序列预测。它们共同面对评价问题:单一分数、漂亮样本或看似合理的解释都不足以证明覆盖、真实性和安全性,应结合目标任务、数据条件和失败案例判断。
发散与实践
读者延伸:从注意力与网络压缩各选一个可核验的实现入口,分别准备了“追踪多头注意力”和“读懂剪枝实现”两项源码阅读计划,路径见概览中的实践卡进度。两项均已核验官方版本、入口与测试位置,具体深读和设备实验尚未执行。