此笔记位置已失效,请从目录继续阅读。
全书导读与主线
本书从机器学习任务出发,先补充矩阵、微积分与概率,再用神经网络和反向传播解释模型怎样从样本中调整参数。训练误差下降并不意味着新数据表现一定好,泛化和数据划分因此与优化同样重要。卷积利用图像局部性,循环网络传递序列状态,注意力则根据输入动态汇聚信息;这些结构为不同数据关系提供不同归纳偏置。
阅读时可先掌握输入、预测、损失、梯度与更新的基本链路,再按问题类型选择图像或序列章节。书中例程用于教学,部分评估和实现存在局限,应结合每章说明核验。
前言
本书希望降低深度学习入门的数学与编程门槛,结合生活类比、图示和可运行代码解释模型。作者先安排数学和工具准备,再讲网络、泛化与优化,最后介绍卷积、循环和注意力模型。前言主要说明读者对象及组织方式,没有另成知识卡。
第1章 欢迎来到深度学习的世界
神经网络通过多层变换表达复杂函数。神经网络的逼近能力区分表达能力与实际优化能否成功。
深度学习可处理图像、语音和语言,也可将不同能力组合到同一应用中。多模态融合的分工以虚拟主播为例说明各项技术的作用。
网络的深度体现在隐藏层的层数;全连接层在相邻层之间建立连接,层次增加也带来参数与计算开销,详见网络深度与参数。卷积网络处理图像、循环网络处理序列、注意力选择信息分别介绍图像、序列与信息选择的入门视角,后文再详述。
语音技术既有把声音转为文本的识别,也有从文本生成声音的合成,详见语音识别与合成。知识图谱表示关系用实体及其关系组织知识。多种技术可以组合服务于同一个应用。
书中以 Python、PyTorch 和交互式 Notebook 作为学习工具;交互式笔记本说明其文档和运行结合的方式。
书中还用示意图引出生成模型,生成对抗网络的角色和变分自编码器的角色分别展示生成与判别、编码与解码的角色。这里是入门图解,完整训练方法留待后续学习。
第2章 必要的数学预备知识
深度学习使用线性代数表示数据与计算,用微积分求参数变化对损失的影响,并用概率统计描述不确定性。线性代数部分先从数值对象入手:标量是单个数,向量是一组有序数,矩阵按行列组织数值,张量将这种表示扩展到多个轴。矩阵还可表达保持加法和数乘的线性变换;一组线性方程可共同约束多个变量,详见线性方程组描述约束。具体见线性变换保持组合、向量表示有序数据、矩阵表示二维数据、张量的轴与形状。
向量的维数与大小不同,范数衡量大小;点积把两个等长向量映射为一个数,叉积在三维空间中产生垂直方向的向量。矩阵转置交换行列;矩阵乘法按左行和右列求点积,结果形状由外侧维度确定。逐元素乘积与矩阵乘法是不同运算。具体可参阅向量维数与范数、向量点积与方向、三维向量叉积、矩阵转置交换行列、矩阵乘法与形状、矩阵内积与逐项乘积。
微积分以极限描述变化趋势,导数给出瞬时变化率,微分提供局部线性近似。多变量情况下,偏导数沿坐标方向衡量变化,梯度把偏导数组成向量;链式法则则把复合函数的局部变化连接起来,是后续反向传播的基础。
概率描述不确定事件;统计常从样本推断总体。条件概率在已有条件下衡量事件概率,贝叶斯公式把先验和观测联系起来;最大似然则固定数据寻找使其似然最大的参数。连续密度需要对区间积分才能得到区间概率。原书对互斥与独立、极限和驻点的部分说法有误,相关卡片说明了边界。参阅极限描述附近趋势、导数与局部变化、微分是局部线性近似、偏导数与梯度、复合函数链式法则、概率与统计的方向、事件独立与互斥、离散概率与密度、条件概率与贝叶斯、最大似然估计。
概率事件是一组可能结果;有限且等可能的结果下,可用有利结果数除以总数计算事件概率(等可能样本空间、概率事件表示结果)。随机变量将随机结果映射到数值,分布描述这些数值的概率规律;正态分布只是可能的模型之一。频率和贝叶斯视角分别强调抽样表现与先验、数据的更新。联合概率表示事件同时发生,不能除以事件并集来计算。详见频率与贝叶斯视角、随机变量与分布、联合概率与条件、正态分布的参数。
训练时可沿负梯度方向调整参数,学习率控制更新幅度;分类交叉熵基于真实类别的对数概率,书中 0.1 对应损失 0.9 的例子不正确。书中只提及克罗内克积的名称,没有展开计算规则。参阅梯度下降更新参数、常见函数求导、交叉熵与预测概率。
原书依据 · 30 处
- 必要的数学预备知识 · 查看原书依据
- 必要的数学预备知识 · 查看原书依据
- 必要的数学预备知识 · 查看原书依据
- 必要的数学预备知识 · 查看原书依据
- 必要的数学预备知识 · 查看原书依据
- 必要的数学预备知识 · 查看原书依据
- 必要的数学预备知识 · 查看原书依据
- 必要的数学预备知识 · 查看原书依据
- 必要的数学预备知识 · 查看原书依据
- 必要的数学预备知识 · 查看原书依据
- 必要的数学预备知识 · 查看原书依据
- 必要的数学预备知识 · 查看原书依据
- 必要的数学预备知识 · 查看原书依据
- 必要的数学预备知识 · 查看原书依据
- 必要的数学预备知识 · 查看原书依据
- 必要的数学预备知识 · 查看原书依据
- 必要的数学预备知识 · 查看原书依据
- 必要的数学预备知识 · 查看原书依据
- 必要的数学预备知识 · 查看原书依据
- 必要的数学预备知识 · 查看原书依据
- 必要的数学预备知识 · 查看原书依据
- 必要的数学预备知识 · 查看原书依据
- 必要的数学预备知识 · 查看原书依据
- 必要的数学预备知识 · 查看原书依据
- 必要的数学预备知识 · 查看原书依据
- 必要的数学预备知识 · 查看原书依据
- 必要的数学预备知识 · 查看原书依据
- 必要的数学预备知识 · 查看原书依据
- 必要的数学预备知识 · 查看原书依据
- 必要的数学预备知识 · 查看原书依据
第3章 环境安装和工具使用
本章把环境搭建拆为硬件和驱动、包与环境管理、交互式编辑以及深度学习框架四层。GPU 是计算硬件,CUDA 提供 NVIDIA GPU 的计算平台,PyTorch 是使用计算资源的框架;没有合适 GPU 时可考虑 CPU。选择软件前应确认环境兼容,书中的具体版本和安装界面是历史示例。
conda 通过独立环境管理 Python 与依赖;创建环境后激活,再安装和检查需要的包。Notebook 作为服务运行,浏览器提供交互界面,单元可分别执行并混合文字和公式。最后在目标环境导入 PyTorch、创建张量,并在需要 GPU 时检查 CUDA 可用性。相关操作见CUDA驱动兼容检查、conda环境隔离、conda包管理、启动笔记本服务、笔记本单元与快捷键、PyTorch与GPU分工、验证PyTorch运行环境。
原书建议下载失败时把 HTTPS 换成 HTTP;这会失去传输保护,不应直接照搬。安装命令和兼容关系应核对当前官方说明。补充操作可见conda复制与删除环境、Markdown记录结构。
第4章 深度神经网络:误差倒查分解
人工神经元先对输入加权并加偏置,再经过激活函数;多层感知机把这些计算组织为前馈层。没有非线性时,多层仿射变换仍能合成一个仿射变换,因此单靠叠层不能表达复杂的非线性边界。Sigmoid、tanh 和 ReLU 以不同方式引入非线性,各有饱和或失活等局限。
多分类中,Softmax 把一组分数归一化为和为一的概率估计;损失函数再衡量预测与目标的差距,为训练提供目标。书中把反向传播类比下山,严格说反向传播负责计算梯度,参数更新由优化算法完成。参阅人工神经元的计算、多层仿射仍是仿射、多层感知机的结构、Sigmoid激活与饱和、Tanh激活的范围、ReLU与失活、Softmax归一化分数、损失函数衡量误差。
前向传播依次计算各层输出,均方误差等损失衡量偏差;反向传播则依据链式法则从损失向前计算参数梯度,分支上的梯度贡献需要求和。优化器使用这些梯度更新参数,二者分工不同。
手写数字示例把样本交给 Dataset 和 DataLoader 分批,依次定义网络、损失和优化器,再循环执行前向计算、清梯度、反向传播和更新;测试阶段关闭梯度计算并统计预测正确率。示例输出是未归一化分数,原书称其为概率并不准确。参阅前向传播计算预测、均方误差衡量偏差、反向传播计算梯度、数据集与批量加载、训练循环的更新顺序、分类评估与原始分数。
回归预测数值。线性回归选择直线或多特征线性模型,最小化预测与观测的残差平方和;多项式回归可将 x² 等作为新特征,形成对参数线性的曲线模型。正规方程的矩阵逆有可逆条件,梯度下降提供迭代求解思路。
分类预测类别。独热向量表示真实类别,Softmax 将类别分数转为概率;示例将 logits 直接交给交叉熵损失。评估时应区分用于调参的验证集和最终测试集。参阅线性回归的最小二乘、多元回归的矩阵表达、多项式特征与回归、参数初始化影响训练、独热标签与类别概率、Softmax回归与交叉熵、训练验证与测试区分。
原书依据 · 23 处
- 深度神经网络:误差倒查分解 · 查看原书依据
- 深度神经网络:误差倒查分解 · 查看原书依据
- 深度神经网络:误差倒查分解 · 查看原书依据
- 深度神经网络:误差倒查分解 · 查看原书依据
- 深度神经网络:误差倒查分解 · 查看原书依据
- 深度神经网络:误差倒查分解 · 查看原书依据
- 深度神经网络:误差倒查分解 · 查看原书依据
- 深度神经网络:误差倒查分解 · 查看原书依据
- 深度神经网络:误差倒查分解 · 查看原书依据
- 深度神经网络:误差倒查分解 · 查看原书依据
- 深度神经网络:误差倒查分解 · 查看原书依据
- 深度神经网络:误差倒查分解 · 查看原书依据
- 深度神经网络:误差倒查分解 · 查看原书依据
- 深度神经网络:误差倒查分解 · 查看原书依据
- 深度神经网络:误差倒查分解 · 查看原书依据
- 深度神经网络:误差倒查分解 · 查看原书依据
- 深度神经网络:误差倒查分解 · 查看原书依据
- 深度神经网络:误差倒查分解 · 查看原书依据
- 深度神经网络:误差倒查分解 · 查看原书依据
- 深度神经网络:误差倒查分解 · 查看原书依据
- 深度神经网络:误差倒查分解 · 查看原书依据
- 深度神经网络:误差倒查分解 · 查看原书依据
- 深度神经网络:误差倒查分解 · 查看原书依据
第5章 常见挑战及对策:一切为了泛化能力
训练目标不只是让模型记住训练样本,还要让它在新数据上表现良好。欠拟合可能表现为训练与验证都差;过拟合则可能表现为训练好、验证差。数据增强、适当模型复杂度、验证集、交叉验证和提前停止从不同角度改善选择和训练,但都不能保证泛化。
正则化在目标或训练过程中施加约束。L1 倾向稀疏,L2 平方惩罚倾向缩小权重;权重衰减在普通 SGD 下可与 L2 对应,采用自适应方法时需要区分。Dropout 在训练时随机屏蔽激活,评估时关闭;书中对 p 的定义前后不一致,应以所用接口为准。
深层反向传播可能使梯度连乘变小或变大。梯度裁剪主要限制过大更新,批归一化调整激活尺度,残差连接提供额外传播路径;这些方法都不保证完全消除问题。最后,保存参数并在相同模型结构中恢复,可减少训练中断损失并复用模型。参阅泛化与过欠拟合、数据增强的假设、训练验证测试分工、交叉验证轮流留出、提前停止控制拟合、正则化约束学习、L1与L2惩罚区别、权重衰减与L2、Dropout随机掩码、梯度消失与爆炸、梯度裁剪限制更新、批归一化的步骤、残差连接提供捷径、保存与恢复参数。
选择模型必须结合任务和数据;评估模式与是否记录梯度也要分别控制。进一步参阅模型选择依赖问题、评估模式与梯度开关、保存与读取张量。
原书依据 · 17 处
- 常见挑战及对策:一切为了泛化能力 · 查看原书依据
- 常见挑战及对策:一切为了泛化能力 · 查看原书依据
- 常见挑战及对策:一切为了泛化能力 · 查看原书依据
- 常见挑战及对策:一切为了泛化能力 · 查看原书依据
- 常见挑战及对策:一切为了泛化能力 · 查看原书依据
- 常见挑战及对策:一切为了泛化能力 · 查看原书依据
- 常见挑战及对策:一切为了泛化能力 · 查看原书依据
- 常见挑战及对策:一切为了泛化能力 · 查看原书依据
- 常见挑战及对策:一切为了泛化能力 · 查看原书依据
- 常见挑战及对策:一切为了泛化能力 · 查看原书依据
- 常见挑战及对策:一切为了泛化能力 · 查看原书依据
- 常见挑战及对策:一切为了泛化能力 · 查看原书依据
- 常见挑战及对策:一切为了泛化能力 · 查看原书依据
- 常见挑战及对策:一切为了泛化能力 · 查看原书依据
- 常见挑战及对策:一切为了泛化能力 · 查看原书依据
- 常见挑战及对策:一切为了泛化能力 · 查看原书依据
- 常见挑战及对策:一切为了泛化能力 · 查看原书依据
第6章 梯度下降算法及变体:高效求解模型参数
优化算法调整参数以降低训练目标;机器学习还关心目标分布上的真实风险。训练样本上的经验风险只是其估计,交叉熵等替代损失也不能代替对最终任务指标的评估。非凸目标可能存在局部最小、鞍点和陡峭区域;凸性有助于判断局部与全局最小的关系,但并不单独保证最小值存在或任意步长都收敛。
从概率角度,固定方差高斯噪声下的最大似然对应最小平方误差;最大后验在似然之外引入先验,负对数先验形成某些正则化项。Jensen 不等式比较先取期望与先变换;它给出界,而不保证最小化下界即最小化原目标。
梯度下降用梯度方向和学习率更新参数。批量、单样本和小批量方法使用不同数量样本估计梯度;动量利用历史方向,AdaGrad 累积平方梯度,RMSProp 使用衰减平均,AdaDelta 还利用更新历史,Adam 结合一阶和二阶矩。学习率调度按时间调整步长,也可先预热。
书中实验的训练和测试加载器都绕过子集索引而引用完整数据,不能作为独立测试结果;预热代码的倍率上限也不符合文字描述。参阅经验风险与真实风险、替代损失与目标指标、病态与优化速度、局部最小与鞍点、凸函数与最小值、Jensen不等式、高斯误差与最小二乘、最大后验与正则化、后验分布与点估计、学习率影响下降、批量与随机梯度、动量累积梯度方向、AdaGrad累积平方梯度、RMSProp近期平方平均、AdaDelta利用更新历史、Adam的两种矩估计、学习率调度与预热、数据子集误用导致泄漏、预热代码上限错误。
原书依据 · 19 处
- 梯度下降算法及变体:高效求解模型参数 · 查看原书依据
- 梯度下降算法及变体:高效求解模型参数 · 查看原书依据
- 梯度下降算法及变体:高效求解模型参数 · 查看原书依据
- 梯度下降算法及变体:高效求解模型参数 · 查看原书依据
- 梯度下降算法及变体:高效求解模型参数 · 查看原书依据
- 梯度下降算法及变体:高效求解模型参数 · 查看原书依据
- 梯度下降算法及变体:高效求解模型参数 · 查看原书依据
- 梯度下降算法及变体:高效求解模型参数 · 查看原书依据
- 梯度下降算法及变体:高效求解模型参数 · 查看原书依据
- 梯度下降算法及变体:高效求解模型参数 · 查看原书依据
- 梯度下降算法及变体:高效求解模型参数 · 查看原书依据
- 梯度下降算法及变体:高效求解模型参数 · 查看原书依据
- 梯度下降算法及变体:高效求解模型参数 · 查看原书依据
- 梯度下降算法及变体:高效求解模型参数 · 查看原书依据
- 梯度下降算法及变体:高效求解模型参数 · 查看原书依据
- 梯度下降算法及变体:高效求解模型参数 · 查看原书依据
- 梯度下降算法及变体:高效求解模型参数 · 查看原书依据
- 梯度下降算法及变体:高效求解模型参数 · 查看原书依据
- 梯度下降算法及变体:高效求解模型参数 · 查看原书依据
第7章 基础卷积神经网络:图像处理利器
全连接网络对图像局部结构没有直接的约束,参数也可能随输入大小迅速增加。卷积层使用局部窗口,并在不同位置共享核参数,得到特征图;实际深度学习框架通常计算互相关,数学卷积则还涉及核翻转。多个通道与滤波器共同决定输入和输出的特征维度,堆叠层后,一个输出可受更大输入区域影响,即感受野扩大。
填充和步长共同控制特征图大小;不能简单断言步长为二就总使输出正好减半。分组卷积限制跨组连接以减少参数。池化对局部窗口取最大值或平均值,在压缩信息的同时损失细节。等变性是输入变化时输出对应变化,不变性是输出保持不变;实际边界、步幅和池化使这些性质有条件或仅近似成立。
LeNet 示例将卷积、激活、池化和全连接层串联,用手写数字数据训练分类模型。输入尺寸改变会改变中间特征图与展平后的维数,故需逐层核对。参阅全连接与图像局部性、卷积与互相关、卷积核提取特征、卷积感受野、局部连接与参数共享、等变性与不变性、卷积填充与步长、卷积输出尺寸计算、多通道卷积与滤波器、分组卷积减少连接、最大池化与平均池化、LeNet尺寸流转。
第8章 基础循环神经网络:为序列数据而生
序列建模处理有先后关系的数据。文本预处理将文本切成词元并构造词表;词袋舍弃顺序,N-gram 保留局部顺序,词嵌入学习稠密表示。RNN 在各时间步共享参数,用状态传递历史;沿时间反向传播时同时汇合当前输出与后续状态的梯度,长依赖可能遭遇梯度消失或爆炸。
时间序列示例用六步窗口预测下一点;原书所谓验证循环仍使用训练加载器,因此曲线不能证实独立泛化。编码器—解码器将输入映射为中间表示后逐步生成输出,可处理不等长序列;BOS、EOS、训练与生成的输入差异及未知词都必须明确。贪心搜索只保留一个前缀,束搜索保留多个但仍是近似搜索。书中 Seq2Seq 示例未知词与 BOS 混用,且评估可能漏计过长输出。
参阅序列与时间建模、文本预处理应服务任务、词干提取与词形还原、词袋模型丢失顺序、N元词组保留局部次序、词嵌入与预训练、循环状态与参数共享、时间反向传播的梯度汇合、循环网络的长期依赖、时间序列滑动窗口、预测实验验证集核对、编码器解码器分工、序列生成边界标记、教师强制与推理差异、贪心与束搜索、序列概率与对数损失、序列例程的未知词与评估。
原书依据 · 17 处
- 基础循环神经网络:为序列数据而生 · 查看原书依据
- 基础循环神经网络:为序列数据而生 · 查看原书依据
- 基础循环神经网络:为序列数据而生 · 查看原书依据
- 基础循环神经网络:为序列数据而生 · 查看原书依据
- 基础循环神经网络:为序列数据而生 · 查看原书依据
- 基础循环神经网络:为序列数据而生 · 查看原书依据
- 基础循环神经网络:为序列数据而生 · 查看原书依据
- 基础循环神经网络:为序列数据而生 · 查看原书依据
- 基础循环神经网络:为序列数据而生 · 查看原书依据
- 基础循环神经网络:为序列数据而生 · 查看原书依据
- 基础循环神经网络:为序列数据而生 · 查看原书依据
- 基础循环神经网络:为序列数据而生 · 查看原书依据
- 基础循环神经网络:为序列数据而生 · 查看原书依据
- 基础循环神经网络:为序列数据而生 · 查看原书依据
- 基础循环神经网络:为序列数据而生 · 查看原书依据
- 基础循环神经网络:为序列数据而生 · 查看原书依据
- 基础循环神经网络:为序列数据而生 · 查看原书依据
第9章 注意力神经网络:赋予模型认知能力
注意力根据查询与键的相关性产生动态权重,再汇聚值;编码器—解码器模型因此可以在每步访问不同的源位置。缩放点积公式为 softmax(QKᵀ/√dₖ)V,多头机制用不同投影并行获取多个表示。自注意力发生在同一序列内,权重矩阵通常不对称;稠密计算通常随序列长度二次增长,热图也不能直接当作因果解释。核回归示例将距离映射成归一化权重,与平均汇聚作对照。
原始 Transformer 编码器包含自注意力与逐位置前馈层,解码器还使用因果自注意力和编码器—解码器注意力;位置编码、残差、归一化和输出投影共同构成模型。填充掩码和因果掩码解决不同的信息遮蔽问题。注意力是机制,Transformer 是架构,并非同义。
原书代码存在需要修正的具体问题:位置表按词元 ID 而非位置索引,LayerNorm 在 forward 中临时创建,解码输入和评估不对应真实自回归生成。书中示例损失曲线及测试分数因此不能单独证明模型能力。参阅注意力与固定向量瓶颈、查询键值与加权汇聚、缩放点积注意力、注意力维度与方向、注意力分数函数、全局与局部注意力、自注意力的计算代价、多头注意力分工、注意力权重不是因果解释、核回归与注意力池化、Transformer编码器与解码器、位置编码提供次序、因果掩码与填充掩码、残差与层归一化、输出投影与交叉熵、位置编码示例中的索引错误、模型层应在初始化中注册、解码输入与生成评估、注意力机制与模型架构。
原书依据 · 19 处
- 注意力神经网络:赋予模型认知能力 · 查看原书依据
- 注意力神经网络:赋予模型认知能力 · 查看原书依据
- 注意力神经网络:赋予模型认知能力 · 查看原书依据
- 注意力神经网络:赋予模型认知能力 · 查看原书依据
- 注意力神经网络:赋予模型认知能力 · 查看原书依据
- 注意力神经网络:赋予模型认知能力 · 查看原书依据
- 注意力神经网络:赋予模型认知能力 · 查看原书依据
- 注意力神经网络:赋予模型认知能力 · 查看原书依据
- 注意力神经网络:赋予模型认知能力 · 查看原书依据
- 注意力神经网络:赋予模型认知能力 · 查看原书依据
- 注意力神经网络:赋予模型认知能力 · 查看原书依据
- 注意力神经网络:赋予模型认知能力 · 查看原书依据
- 注意力神经网络:赋予模型认知能力 · 查看原书依据
- 注意力神经网络:赋予模型认知能力 · 查看原书依据
- 注意力神经网络:赋予模型认知能力 · 查看原书依据
- 注意力神经网络:赋予模型认知能力 · 查看原书依据
- 注意力神经网络:赋予模型认知能力 · 查看原书依据
- 注意力神经网络:赋予模型认知能力 · 查看原书依据
- 注意力神经网络:赋予模型认知能力 · 查看原书依据
跨章综合
数学中的导数和链式法则给反向传播提供计算规则;反向传播求出损失对参数的梯度,而优化器决定如何根据梯度调整参数。两者是不同职责:即使优化充分,训练数据和目标不代表实际环境,也不能推出模型会泛化。验证集、正则化与模型选择因此需要与训练过程一起设计。
全连接、卷积、循环和注意力共享以损失驱动参数学习的框架,但编码数据关系的方式不同:卷积共享局部核,循环在时间步传递状态,注意力按查询动态汇聚值。注意力可与编解码结构组合,Transformer 则把多头注意力与前馈、位置和掩码组织起来。评估任何一种结构时都要防止未来信息泄漏,并比较独立数据上的适当基线。
读者延伸与实践
下面是计划而非已完成的实验:《深读自动求导》实践卡 将链式法则和梯度汇合映射到 PyTorch;《深读多头注意力》实践卡 追踪投影、形状和掩码。