此笔记位置已失效,请从目录继续阅读。
导读
两篇推荐序从读者和编辑的角度交代写作缘起。作者把连载文章扩充为入门书,用生活类比降低理解门槛,又加进公式推导和项目。自序由此给出两条学习路线。理论先讲机器如何从经验改善表现,再走到神经元、网络训练和针对数据结构的模型。实践先用 Python 小项目认识数据与评价,再把训练交给框架执行。
全书主线
本书要回答的是:机器怎样从数据中学习预测,以及神经网络怎样把这种学习用于图像和序列。前五章先区分任务、训练信号和模型,用 Python 代码呈现线性回归与近邻分类。第 6–10 章从神经元和感知机出发,通过多层表示、损失、梯度与反向传播解释参数如何改变。第 11 章把手写计算转到框架;第 12–13 章利用局部连接、共享权重和池化处理图像,第 14–15 章用循环状态与门控处理序列,最后以胶囊网络讨论物体部件关系和表示的另一种设计。
阅读时把三个层次分开:模型结构决定怎样计算输出;损失衡量预测与目标的差异;优化与反向传播计算并应用参数更新。训练集、验证集和测试集承担不同职责,历史示例的训练结果不能自动代表未见数据的性能。书中旧版 TensorFlow 和部分演算有时效或符号问题,相关章节已经注明限制。
第 1 章 机器学习、特征和深度
把学习落实到计算机程序时,要先说明程序负责什么、从哪里得到经验,以及怎样衡量它是否变好。围棋程序可用自我对弈增加经验,再用胜率衡量对弈能力。不同定义也可从经验估计函数、从数据找规律的角度理解这个过程。任务指标经验定义学习给出可以复用的任务描述。
特征是对原始输入的可计算描述。例如图像可以表示为一组像素,像素也可以经过变换变成能反映边缘的信息。人工特征工程根据任务先决定怎样做这种变换,然后在所得特征上训练分类器。人工特征依赖领域先验说明这会把表示质量交给特征设计者。深层网络也需要特征,只是把中间变换纳入训练。把相对简单的模式逐层组合起来,可以得到与最终任务更贴近的描述。深层网络逐层学习表示进一步解释层级表示。
端到端系统指定原始输入和最终输出,用最终任务来约束中间表示的学习。书中以猫狗图像分类和从前置摄像头输出转向指令为例。联合训练扩大了模型可以选择的中间表示,也让分析中间表示和定位错误变得困难。书中借复杂系统和洞穴投影说明直接设计全局规则可能遭遇观测不足。作者用可统计性和可推理性来组织叙述,这一框架有助于理解其论证,具体模型仍要分别说明训练方法和解释能力。端到端联合学习映射概括联合训练的条件与工程取舍。
作者还对比了两种关于数据和模型规模的观点:一种强调大数据下简单模型的效果,另一种认为大量数据与更复杂模型结合可能带来更好的表现。这是对研究路线的讨论,不意味着增加数据或参数必然提高任何任务的效果;需要在具体任务上用独立数据评估。书中把 SVM、Boosting 和逻辑回归列作浅层学习的例子,这些方法的模型结构不同,不能一概当作单隐层神经网络。
书中的四象限图以“可统计/不可统计”和“可推理/不可推理”为两轴,将神经网络示意在可统计的一侧,并用逻辑推理和图像识别作例子。这是作者组织论述的示意,不应把统计学习与推理能力当成互斥的严格分类。作者还用“一人加一人”的漫画说明相互作用可能改变整体结果,用洞穴影子说明观察可能受限;这些比喻帮助理解端到端观点,但本身不能证明某个模型的效果或不可解释性。
加深网络能增加表示变换的机会,也带来资源消耗。章节用 VGGNet、DeepVideo 和 GNMT 展示图像、视频和翻译任务的训练规模,表中的数据属于书内历史案例。深度服务于表示学习将这部分的评价标准落到独立数据上的收益及资源成本。
第 2 章 从经验数据到预测函数
章节先用数据主义、脑科学与人工模拟说明作者如何看待人工智能的由来。对人类社会作分布式系统的类比,以及对硅基智能的预测,属于书中的解释框架与历史观点。落实到机器学习项目时,任务、结构和学习信号可以各自说明。例如图像识别是任务,深层网络是结构,有标签训练是学习方式。监督方式与模型结构分开展示这些维度如何交叉。
当输入是一个实例时,可以用特征向量表示它。模型的工作是将实例映射到输出,例如把音频变成识别结果,把一组属性变成数值预测。输出是数值时可做回归,有限类别对应分类,给输入序列的各位置分配标签属于序列标注。训练样本提供拟合信号,测试样本用来检验模型在新数据上的表现。学习由建模评估优化组成把第 1 章的任务和指标落实为模型族、评价标准和参数搜索。
规则推理与连接权重说明规则路线与人工神经网络在知识表示上的不同。神经网络将简单单元互连起来,各单元先聚合输入,再做可产生非线性输出的变换。训练可使连接权重适应数据,网络的整体输出取决于各单元及其连接。书中讨论的非线性、互连、自适应和目标非凸性,分别指向表达能力、信息传播、参数学习和优化困难。
足够宽的前馈网络能在一定条件下逼近连续函数。这解释了为什么可以用同一种模型构造不同的预测函数。可近似性不保证泛化把理论结论限定在表示能力与相应输入区域内。书中对有限区间内的拟合进行演示,也让读者看到把区间扩大以后,测试问题已经变了。下一章会按训练时能得到的信号来区分不同学习设定。
神经网络优化可能面对非凸目标解释了优化地形可能带来的训练困难;非线性本身不自动证明每一个训练目标都非凸。
第 3 章 学习依赖什么反馈
教师信号约束预测从已知输出学习预测规则,可以学习分类,也可以拟合数值。本章用 近邻投票依赖距离 展示一个实例算法。保存训练样本以后,新样本的类别由已标注邻居决定。距离度量和邻居数量会改变投票结果。
无标签时,分析者仍然必须明确自己所关心的结构。相似性定义改变聚类借形状与颜色的例子说明这一点。标准 K均值交替分配与更新 用最近中心归类,再用簇内均值更新中心,交替降低簇内距离平方和。初值、簇数与异常数据都可能改变所得划分。原书将随机森林列入无监督方法的举例并不适合用来理解标准随机森林,标准分类和回归随机森林使用标签。
半监督依赖聚类假设组合有标签与无标签样本。若一簇内样本的目标相似,已知标签有机会帮助推断其余样本。作者用中庸比拟标签约束与从数据发现结构的结合,这是教学类比。
强化学习优化长期回报面向动作序列。马可夫决策过程将状态、动作、转移概率和奖励写为环境模型。智能体要在尝试未知动作和使用已有经验之间分配机会。原书的西瓜例子显示了延迟回报的问题,自我对弈仍产生训练数据说明在规则明确的围棋环境可以自行产生经验,并提示这种条件未必适用于其他任务。
强化学习的反馈可能延迟;探索与利用需要权衡说明继续尝试新动作与使用当前较优动作之间的取舍。
原书依据 · 8 处
- “机器学习”三重门,“中庸之道”趋若人 3.1 监督学习 3.1.1 感性认知监督学习 3.1.2 监督学习的形式化描述 3.1.3 k-近邻算法 · 查看原书依据
- “机器学习”三重门,“中庸之道”趋若人 3.1 监督学习 3.1.1 感性认知监督学习 3.1.2 监督学习的形式化描述 3.1.3 k-近邻算法 · 查看原书依据
- “机器学习”三重门,“中庸之道”趋若人 3.2 非监督学习 3.2.1 感性认识非监督学习 3.2.2 非监督学习的代表—K均值聚类 · 查看原书依据
- “机器学习”三重门,“中庸之道”趋若人 3.2 非监督学习 3.2.1 感性认识非监督学习 3.2.2 非监督学习的代表—K均值聚类 · 查看原书依据
- “机器学习”三重门,“中庸之道”趋若人 3.3 半监督学习 · 查看原书依据
- “机器学习”三重门,“中庸之道”趋若人 3.5 强化学习 · 查看原书依据
- “机器学习”三重门,“中庸之道”趋若人 3.6 本章小结 · 查看原书依据
- “机器学习”三重门,“中庸之道”趋若人 3.5 强化学习 · 查看原书依据
第 4 章 人生苦短对酒歌,我用Python乐趣多
本章为后续实验准备解释器、依赖库和组织代码的方法。科学计算库按职责分工按数据准备、数值运算、预测与绘图的职责看待生态。Anaconda 的环境管理和包依赖工具也在这条实践线上。书中的 Python 2 与 3 对比、Windows 和 Mac 安装界面属于写作当时。命令路径决定解释器提炼出跨环境仍要核对的命令解析和依赖归属问题。
例程可在交互式解释器中试验,也可保存为脚本重复执行。Python 用缩进界定语句块,容器根据需要选择顺序访问、键索引或成员关系。对象可变性影响函数调用解释函数操作容器可能产生的副作用,位置与关键字参数收集区分如何接收额外位置和关键字实参。模块将可复用的定义放进命名空间。程序也可以用类将状态和行为一起封装,为后文模型代码中的数据、参数和预测方法提供组织方式。
文本与字节通过编码转换说明 Python 3 中 Unicode 文本和字节序列如何经过编码转换;旧版本生态比较是历史背景。
Python 使用缩进表达代码块;Python代码块与执行方式涵盖交互运行、脚本与注释。Python容器按访问和可变性选择比较列表、元组、字典和集合,Python模块导入与名称绑定介绍模块导入,类和实例的属性与方法说明实例与类属性、方法及继承。函数调用还需区分对象修改与名称重新绑定。
原书依据 · 9 处
- 人生苦短对酒歌,我用Python乐趣多 4.1 Python概要 · 查看原书依据
- 人生苦短对酒歌,我用Python乐趣多 4.3 Python环境配置 · 查看原书依据
- 人生苦短对酒歌,我用Python乐趣多 4.4 Python编程基础 · 查看原书依据
- 人生苦短对酒歌,我用Python乐趣多 4.4 Python编程基础 · 查看原书依据
- 人生苦短对酒歌,我用Python乐趣多 4.2 Python的版本之争 · 查看原书依据
- 人生苦短对酒歌,我用Python乐趣多 4.4 Python编程基础 · 查看原书依据
- 人生苦短对酒歌,我用Python乐趣多 4.4 Python编程基础 · 查看原书依据
- 人生苦短对酒歌,我用Python乐趣多 4.4 Python编程基础 · 查看原书依据
- 人生苦短对酒歌,我用Python乐趣多 4.4 Python编程基础 · 查看原书依据
第 5 章 机器学习终觉浅,Python带我来实践
本章把第 3 章的监督学习流程写成 Python 程序。最小二乘拟合直线先从残差平方和推导一元模型的两个参数,再把均值、方差及协方差对应到代码。算出参数以后才能对指定输入生成预测。原书的简单示例复制训练样本演示预测与 RMSE,训练误差只衡量拟合说明怎样解释这个结果。
近邻实战依次组织训练和测试样本、度量距离、排序取邻居、表决并计算准确率。这个过程将算法的关键选项暴露出来。验证选择近邻数量处理邻域大小,缩放改变近邻次序说明特征单位为何改变邻居。后半章用 scikit-learn 接口在鸢尾花数据上完成分割、拟合和预测,可与手写流程对照。案例里的分数对应书中设置,换数据或拆分种子后需重新测量。
线性回归示例从数据准备到可视化:读取CSV后转换特征类型整理了文件读取和类型转换,绘制散点图检查样本关系说明散点图的用途。书中公式 5-15 的分母应为 x 的方差,示例函数所谓“方差”“协方差”实际是未除样本数的离差平方和及乘积和,二者比值仍给出斜率。
近邻分类先定义距离、找最近的 k 个训练样本,再以多数或加权投票预测;距离定义决定近邻对比不同距离,近邻分类的拟合预测与评估整理拟合、预测与评估。书中独立找邻居范例对无标签的测试输入仍减去一个维度,漏算最后特征,不能照搬。
原书依据 · 9 处
- 机器学习终觉浅,Python带我来实践 5.1 线性回归 · 查看原书依据
- 山重水复疑无路,最快下降问梯度 9.10 利用SGD解决线性回归实战 · 查看原书依据
- 机器学习终觉浅,Python带我来实践 5.1 线性回归 · 查看原书依据
- 机器学习终觉浅,Python带我来实践 5.2 k-近邻算法 · 查看原书依据
- 机器学习终觉浅,Python带我来实践 5.2 k-近邻算法 · 查看原书依据
- 机器学习终觉浅,Python带我来实践 5.1 线性回归 · 查看原书依据
- 机器学习终觉浅,Python带我来实践 5.1 线性回归 · 查看原书依据
- 机器学习终觉浅,Python带我来实践 5.2 k-近邻算法 · 查看原书依据
- 机器学习终觉浅,Python带我来实践 5.2 k-近邻算法 · 查看原书依据
第 6 章 神经元模型
人工神经元把多个输入分别乘以连接权重,求和后减去阈值,再经激活函数得到输出。权重表示输入对加权和的影响,阈值改变函数输入的基准。它借鉴生物神经元受刺激后传递信号的直觉,但只是简化的数学模型。神经元加权汇集与激活列出公式和计算示例。
阶跃函数在阈值处跳变,直接用于依赖梯度的训练时难以提供有效更新信号;sigmoid 把输入平滑地映射到 0 与 1 之间,但在两端饱和时梯度也可能很小。阶跃与平滑激活的训练差异说明这一取舍。
书中回顾 McCulloch 和 Pitts 如何用简化神经元表达逻辑运算:输入为二元值时,改变阈值就能区分“两个都满足”与“至少一个满足”。阈值神经元实现逻辑门用具体数字说明。模型能表达某些逻辑关系,并不证明生物大脑的工作过程已被完整解释。书中关于循环连接和记忆的历史性解释也不应直接替代对现代循环网络随时间更新状态的说明。
卷积从另一个角度处理信号:在每个位移下,把输入与核对应位置相乘,再对位置求和;连续情形则使用积分。改变位移可得到新的输出序列。它与神经元的加权求和有形式上的相似,但卷积的权重由同一个核在不同位置复用;采用什么核决定了其效果,因此不能说所有卷积都会平滑输入。第 12 章再用图像说明这一运算。
第 7 章 感知机学习
感知机用输入的加权和与阈值作二分类;标签提供希望得到的结果。每次预测后,若结果与标签不同,就用误差、输入和学习率调整权重,并按相同规则处理固定输入的阈值项。感知机用误差修正权重列出更新式和符号约定。书中前后式子对阈值符号和阶跃零点的约定不完全一致,使用时须固定约定并逐项核算。监督学习还包括回归,不能将所有监督学习都归为分类。
感知机也可从几何上理解:加权和等于阈值的位置构成决策边界,边界两侧可分配不同类别;二维边界通常是一条直线。它能表达 AND 等线性可分问题,却不能用单个边界分开 XOR 的交错类别。感知机用超平面分类解释边界与表达能力的关系。
赫布学习以共同活动可能加强连接为直觉;它本身不等同于利用标签和预测误差调整权重的监督学习。赫布学习关联共同活动区分相关性启发和有监督误差更新;感知机收敛需要线性可分说明线性可分数据下的有限更新结论及其边界。
第 8 章 多层网络与训练
单个感知机只能给出一条线性分类边界。增加隐层后,可以先分别识别两种“输入不同”的情况,再由输出层合并,从而表示 XOR;各层激活提供非线性。隐层组合解决异或列出全部四种输入。这个构造使用预先给定的权重,证明表达能力,并不等于已经证明某次训练会找到它们。
前馈网络把前一层输出交给后一层,不把后层输出作为前层的循环输入。增加宽度可以提供更多中间特征;增加深度则允许逐层组合变换。通用近似定理是在特定条件下说明网络存在足够好的表示,不承诺训练能找到它,也不保证对新样本的效果,详见可近似性不保证泛化。书中语音识别实验对比了不同宽度、深度与训练方法的错误率;它说明这些配置在该实验中的差别,不能推论任何任务加深都会变好。深度服务于表示学习进一步讨论收益与成本。
分布式表示让一个概念由多个特征共同表达,同一特征也可能参与不同概念;这不意味着每个单元都有可读的人类标签。概念由分布式特征表示解释这种多对多关系。Dropout 训练时随机屏蔽部分单元,以减少对固定组合的依赖;推理时的缩放要依具体实现理解。Dropout训练时随机屏蔽说明训练与推理的区别。多个模型也可组合预测;集成效果依赖准确与差异说明为何成员既要有预测能力,也要有差异。
损失函数把预测与目标之间的差异变成训练时可优化的数值;不同函数对错误的惩罚不同。损失函数定义误差代价比较三种基本损失。训练多层网络时,反向传播利用链式法则计算各层梯度;若连续相乘的导数使早期梯度很小,参数更新会变慢。深层链式求导可能削弱梯度解释这一现象。书中将梯度消失归因于热力学熵、并将深度学习与反向传播说成两种互斥的训练方向,这些说法不能作为一般结论:深度网络可以使用反向传播,历史上的逐层预训练只是特定方法。
原书依据 · 10 处
- 损失函数减肥用,神经网络调权重 8.1 多层网络解决“异或”问题 · 查看原书依据
- 损失函数减肥用,神经网络调权重 8.2 感性认识多层前馈神经网络 · 查看原书依据
- 人工“碳”索意犹尽,智能“硅”来未可知 2.7 什么是通用近似定理 · 查看原书依据
- 损失函数减肥用,神经网络调权重 8.3 是浅而“胖”好,还是深而“瘦”佳 · 查看原书依据
- 一入侯门“深”似海,深度学习深几许 1.8 有没有浅层学习 · 查看原书依据
- 损失函数减肥用,神经网络调权重 8.4 分布式特征表达 · 查看原书依据
- 损失函数减肥用,神经网络调权重 8.5 丢弃学习与集成学习 · 查看原书依据
- 损失函数减肥用,神经网络调权重 8.5 丢弃学习与集成学习 · 查看原书依据
- 损失函数减肥用,神经网络调权重 8.7 损失函数的定义 · 查看原书依据
- 损失函数减肥用,神经网络调权重 8.8 热力学定律与梯度弥散 · 查看原书依据
第 9 章 梯度与参数更新
对给定训练样本,模型输出与目标之间的损失随参数变化而变化。梯度把损失对各个参数的局部变化率组合成方向;负梯度提供局部下降方向。梯度给出局部变化方向说明如何计算方向,梯度下降依赖方向与步长展示学习率如何影响一次更新。梯度为零只代表驻点,不一定是最小值。
全量梯度使用所有样本计算一次更新,随机梯度用抽取的样本估计更新,二者在每次计算成本和方向波动上有所不同。批量与随机梯度的取舍解释各自取舍,随机更新并不保证全局最优。
对于线性回归,可把各样本的半平方误差相加,得到关于权重的目标函数。每个权重的更新由残差和对应输入共同决定;样本与标签固定,但预测随权重变化。 平方误差的线性模型更新写出了求导结果。
书中线性回归例子先归一化再用 SGD 拟合,并从训练数据抽取四条展示预测。这样的展示可以检查拟合或代码,但不能评估新数据的泛化;应先划分训练集和测试集,用训练集拟合缩放参数,再将同一变换应用到测试集。训练误差只衡量拟合解释数据隔离的原因。
模拟退火则以一定概率接受使目标变差的候选,并随温度下降降低接受概率;这提供了探索其他区域的可能,但不保证有限时间找到全局最优。模拟退火允许有条件的逆向移动进一步说明该方法及其适用边界。
第 10 章 前向计算与反向求导
前向计算按网络连接逐层求出激活值和损失;反向传播从损失出发,用链式法则计算每个参数对损失的影响。变量通过多条路径影响结果时,路径贡献要相加。链式法则汇合路径贡献用两个分支的例子说明计算。反向微分复用中间梯度说明反向模式如何复用中间梯度;前向自动微分同样能复用中间结果,不应被简化为必须枚举全部路径。计算梯度之后,还需要优化规则更新参数。
在半平方损失与 sigmoid 输出的例子中,输出单元的梯度由预测误差乘激活函数导数组成;隐层单元则汇总下游梯度的加权影响,再乘自身激活导数。每条连接的梯度还与该连接的输入有关。输出误差传回隐层解释这些量如何衔接。原书公式 10-28 的符号与定义不一致,后续数值演算的隐层责任符号也与所列乘积相反,个别权重行混用了数值;使用时应沿同一梯度约定重新计算,不能照抄结果。
书中的代码把前向传播、反向计算责任值和参数更新分成步骤;一个 epoch 是完整遍历一次训练集。小麦分类例子使用五折评估,但代码先对全数据归一化,并在各折复用同一网络,因而折间没有完全隔离。交叉验证每折重建训练流程说明如何避免预处理和模型状态泄漏。
章末以支持向量机在手写识别中的历史应用对照神经网络:核方法可以在选定的特征空间构造非线性决策边界,但不能保证任意数据都变得线性可分。书中将 BP 限制在浅层网络、将模型优劣归于单一历史因素的说法过于绝对。下一章转向框架:自动微分和现成算子减少手写求导工作,但仍需理解数据、模型与评估。
第 11 章 TensorFlow 与开发环境
书中以 2018 年前后的框架生态与 TensorFlow 1.x 为背景,比较框架并介绍安装。安装过程的通用思路是先隔离依赖、选择匹配的构建包,再运行小例子验证;隔离环境安装与核验概括环境步骤。需要针对硬件或功能自行构建时,源码编译需要环境匹配说明从源码到安装包的流程及版本依赖。书中具体命令和平台判断是历史资料,使用时应核对所选版本。Notebook 可以把代码、输出和解释放在同一文档, Notebook结合代码与说明记录书中的交互方式及复现注意点。
TensorFlow 1.x 的示例将构建图与会话执行分开:图用节点表示运算、用边表示依赖或流动的数据;会话根据请求的结果执行相关运算。占位符接受运行时输入,变量保留可更新的模型状态。数据流图与会话执行概括节点、边与运行目标;占位输入与可更新变量区分运行时输入和可更新状态。张量形状与按轴归约用矩阵说明轴数、形状和归约;用TensorBoard检查计算图记录日志可视化的操作思路。具体接口须按框架版本核对。
MNIST 例子把一张手写数字图像展成像素向量,用线性变换为每个类别算一个分数,再用 Softmax 将分数转成和为一的概率;交叉熵衡量预测与目标分布的差异。优化器根据损失更新参数,最终用未参与拟合的数据测试:MNIST分类模型的端到端步骤串起数据形状与流程。Softmax把分类分数转成分布说明分数到概率的映射;交叉熵评估预测分布解释交叉熵、目标熵与 KL 散度的关系。书中公式 11-3 把类别分数误写成输入 x,描述 KL 最小值时也混淆了 KL 与交叉熵;上面的解释按一致定义表达。
即时执行便于逐步调试对照了即时执行与书中 1.x 图模式;书中的试验版安装和接口仅是历史示例。
原书依据 · 11 处
- 一骑红尘江湖笑,TensorFlow谷歌造 11.3 TensorFlow的安装 · 查看原书依据
- 一骑红尘江湖笑,TensorFlow谷歌造 11.3 TensorFlow的安装 · 查看原书依据
- 一骑红尘江湖笑,TensorFlow谷歌造 11.4 Jupyter Notebook的使用 · 查看原书依据
- 一骑红尘江湖笑,TensorFlow谷歌造 11.5.1 数据流图与 11.5.2 构建 · 查看原书依据
- 一骑红尘江湖笑,TensorFlow谷歌造 11.5.9 placeholder 与 11.5.10 Variable · 查看原书依据
- 一骑红尘江湖笑,TensorFlow谷歌造 11.5.4 张量思维与 11.5.12 Reduce方向 · 查看原书依据
- 一骑红尘江湖笑,TensorFlow谷歌造 11.5.3 TensorBoard与 11.5.11 名称作用域 · 查看原书依据
- 一骑红尘江湖笑,TensorFlow谷歌造 11.6 手写数字识别 MNIST · 查看原书依据
- 一骑红尘江湖笑,TensorFlow谷歌造 11.6 手写数字识别 MNIST · 查看原书依据
- 一骑红尘江湖笑,TensorFlow谷歌造 11.6 手写数字识别 MNIST · 查看原书依据
- 一骑红尘江湖笑,TensorFlow谷歌造 11.7 Eager执行模式 · 查看原书依据
第 12 章 卷积网络
卷积是一种按位置移动、相乘并累加的运算:每个输出位置组合输入与核在相应位移上的值。连续信号用积分,离散信号用求和。 卷积按位移加权叠加给出一个小例子,并区分卷积与互相关。平滑依赖核与函数条件,不能把所有卷积都视为平滑。
图像可以表示为像素矩阵,彩色图像还包含通道。卷积核在局部区域计算加权和,同一个核在各位置共享参数,多个核产生多个输出通道。局部连接与参数共享用参数量例子说明局部连接与共享,也区分输入通道与核的数量。步幅决定窗口移动距离,填充改变边界可用范围;步幅填充决定输出大小给出输出大小的计算。书中展示的固定滤波器可以实现边缘检测或平均,而可训练卷积层的核权重通常由训练学习。
卷积后的非线性激活使多层网络不再等同于单个仿射变换;非线性激活扩展表达解释原因。ReLU 在正输入区保留数值,负输入区输出零,有利于部分条件下的梯度传播,但并不消除所有梯度问题;ReLU正区与失活风险说明其失活风险。池化则用局部最大值或均值缩小表示,代价是丢失部分位置信息;池化汇总局部区域也区分了前向输出与反向梯度。输出端可以用全连接层或其他结构,具体取决于任务。
欠拟合与过拟合看训练和泛化进一步说明该方法及其适用边界。
卷积网络的发展可追溯到视觉感受野研究以及 Neocognitron、LeNet 等工作;这些历史联系提供设计背景,而不是证明所有视觉系统都按同一方式工作。书末提到用全局平均池化代替某些全连接层:它在每个通道的空间位置上求平均,得到每通道一个值,是否适合仍取决于任务和结构。
第 13 章 卷积网络编程
书中以当时的 TensorFlow 接口演示卷积与图像滤波。模型需要清楚每一维的含义:一批图像的批量、高、宽、通道与卷积核的空间尺寸、输入通道、输出通道必须匹配。卷积输入输出的维度用具体形状说明;书中 API 和安装步骤是历史版本,实际使用时应查所用版本的文档。
规范化可以调整特征尺度;批规范化使用小批量统计量标准化,再用可学习参数缩放和平移。 批规范化依赖批统计与可学习变换说明训练与推理模式及其边界。缩放和平移是仿射变换,标准化也不保证分布变为高斯。
书中的 MNIST 卷积示例将两层卷积与池化接到全连接分类器;卷积分类器逐层核对形状按每层形状说明数据如何流动。训练以 logits 交叉熵和 Adam 更新,Adam按梯度矩调整更新解释其梯度矩估计;训练与评估的 dropout 设置不同。书中数值仅为示例输出,本次未运行。
AlexNet 在历史上结合较深卷积网络、ReLU、dropout、GPU 和数据增强;书中的 MNIST 示例只有三层卷积,是借鉴架构的简化版。数据增强利用保持标签的变化说明增强应服从标签语义并避免数据泄漏。书中图示的 100% 是训练批次准确率,不能视为测试准确率。
局部响应规范化比较邻近通道按同一位置的邻近通道响应进行缩放;它与按批统计量计算的批规范化使用不同的信息。
用固定卷积核观察图像滤波进一步说明该方法及其适用边界。
第 14 章 循环网络与序列
序列任务中,当前输入的解释可能依赖先前内容。RNN 在时间步之间传递隐状态,用当前输入和旧状态计算新状态;同一转移规则在各步复用。循环状态汇集历史与当前输入解释其计算与记忆限制。根据任务,输入和输出可以逐步对齐,也可以把整段输入转换成单个结果或另一段不同长度的序列;序列任务的输入输出对齐列举这些形式。CNN 和其他前馈架构同样可以被设计来处理序列,不应将序列依赖视为 RNN 的专属能力。
训练时可将循环按时间展开,再从损失沿各步反向计算梯度;共享参数在不同时刻的贡献需要汇总。时间展开反传共享参数解释长序列的梯度问题。书中仅由 sigmoid 的导数推断每步固定衰减为四分之一,忽略了循环权重等因素,不能作为一般结论。
作者通过历史与当前决策引入序列,但马尔可夫性质是给定状态后的条件独立,不是历史从未产生作用:马尔可夫性依赖状态定义明确状态定义的重要性。历史上反馈连接也用于联想记忆,联想记忆从扰动状态恢复模式说明 Hopfield 网络的目的与局限,区别于 Elman 网络处理序列。
正弦预测示例用前 10 个数预测下一点,把当前输入和历史状态拼接后进行矩阵运算。序列批次按连续性管理状态说明何时可以跨批次延续状态;书中随机生成独立序列却跨批次及评估传状态,并重复使用测试样本,不能把示例误差当作严谨的最终泛化结果。
第 15 章 门控循环与语言模型
普通 RNN 处理长距离依赖时可能出现梯度消失或爆炸。LSTM 引入单元状态和门控:遗忘门调节旧状态,输入门控制候选信息写入,输出门控制可见状态。LSTM门控更新记忆给出更新关系及其局限;加法路径有助于信息传递,但不能保证梯度永远不消失。GRU 采用不同的门控与状态组织,GRU合并状态与门控说明其与 LSTM 的关系。
语言建模还需要表示词。词袋用词频表示文本而忽略顺序;分布假说则用词出现的上下文寻找关系,上下文分布提供词义线索说明它为何能提供线索。独热编码可以区分词,却不直接编码相似性;词嵌入将词索引映射为向量说明可学习的稠密向量如何提供另一种表示,以及这种表示不保证保留所有语义。
语言模型为词序列分配概率,可以将句子的联合概率分解为逐词条件概率的乘积:每个词的概率以它前面的词为条件。N-gram 将每一步的上下文限制在最近若干词,以降低估计难度,但仍可为任意长度的句子逐步计算概率。Ngram使用有限上下文说明这个近似及稀疏性。
Penn Treebank 示例把语料切成连续窗口,让每个时间步预测下一词,嵌入层将词索引映射为向量;下一个词预测的输入标签错位说明输入与标签错位。训练时采用梯度裁剪,控制梯度向量过大带来的更新风险;梯度裁剪限制更新尺度,评估时以困惑度是平均预测损失的指数汇总下一个词的预测损失。书中直接把整数索引称作独热向量、把 concat 与 stack 视为等价,以及把困惑度当作实际候选数,均需按上述定义修正。
作者以研究者之间的历史争论提出对照不同观点建立领域地图:比较不同路径可以快速建立问题地图,仍需查验论证本身。
为减少过拟合,书中讨论在循环语言模型的层间连接使用 dropout,同时保留时间方向的循环路径。循环网络正则化需考虑状态路径说明这一特定方案与其适用边界。
原书依据 · 10 处
- LSTM长短记,长序依赖可追忆 15.5 LSTM的前向计算 · 查看原书依据
- LSTM长短记,长序依赖可追忆 15.5 LSTM的前向计算 · 查看原书依据
- LSTM长短记,长序依赖可追忆 15.7 · 查看原书依据
- LSTM长短记,长序依赖可追忆 15.8 · 查看原书依据
- LSTM长短记,长序依赖可追忆 15.9.1 NGram模型 · 查看原书依据
- LSTM长短记,长序依赖可追忆 15.9.4 LSTM语言模型的正则化 · 查看原书依据
- LSTM长短记,长序依赖可追忆 15.10 Penn Treebank 实战 · 查看原书依据
- LSTM长短记,长序依赖可追忆 15.10 Penn Treebank 实战 · 查看原书依据
- LSTM长短记,长序依赖可追忆 15.10 Penn Treebank 实战 · 查看原书依据
- LSTM长短记,长序依赖可追忆 15.2 施密德胡伯是何人 · 查看原书依据
第 16 章 胶囊网络
书中以部件之间的空间关系引出胶囊网络。不变表示在输入变换后保持相同;同变表示随输入按对应规则变化,可以保留位置或姿态信息。不变与同变保留不同信息解释二者差异。普通卷积在一定条件下本身具有平移等变性,书中的“CNN 对旋转和缩放不敏感”及胶囊网络优势应理解为作者基于当时研究提出的观点,不能无条件推广。
书中的向量胶囊用向量长度表达存在程度、用方向承载实例表示;胶囊向量长度与方向解释 squash 的作用。低层向量先变换为对高层的预测,再通过耦合系数加权并按一致性迭代调整,动态路由聚合一致预测说明这一过程。类别胶囊可分别使用边缘损失;胶囊边缘损失区分真假类区分真实类和非真实类的惩罚方向,并纠正书中的文字颠倒。
书中还用解码器从选定胶囊重构数字,并扰动向量维度观察图形变化。重构检验表征保留的信息说明这种实验能提供什么证据,以及为何它不能单独证明完全可逆或普遍可解释。
书中的 MNIST 实现将边缘损失与加权重构损失相加:训练时用真实标签选择重构胶囊,评估时默认按预测类别选择,并依据验证损失保存模型。书中展示的准确率属于其特定数据、配置与历史软件环境,并非本次复现实测。
本书结语把深度学习的价值与局限并列:模型可以从大量数据中学习表示,但解释、数据需求和超参数选择仍需认真对待。这是作者写作时的总结;具体能力与限制要放到模型、任务和证据中判断。
书中也指出原始胶囊方案在 CIFAR-10 上的表现和同类实例挤在相近位置时的识别困难。向量维度扰动或少量重叠数字的重构能提供特定实验中的线索,但不足以证明所有胶囊维度都具有稳定、普遍的人类可解释含义。
跨章联系
表示与训练。 第 1 章的特征学习,到第 6–8 章变成神经元的加权和、多层非线性及分布式表示;第 9–10 章的梯度和链式法则则回答这些特征如何通过损失被调整。表达能力是“存在某组参数能表示”,训练是否找到这些参数、能否泛化是不同问题。
结构与数据。 卷积核在图像不同位置复用同一组参数,适合利用局部空间结构;循环网络在各时间步复用转移参数,把前一状态带到下一时刻。两者都用共享参数表达先验,但各自共享的维度及信息流不同。LSTM 的门控改变循环状态的更新方式;胶囊动态路由则聚合部件对高层实体的预测,它们解决的问题和计算方式并不相同。
评价与证据。 第 5 章展示的训练误差、第 10 章的交叉验证、第 13 章的训练批次准确率和第 15 章的测试困惑度都在评价不同对象。先明确数据是否参与拟合、指标由什么计算以及实验条件,才可以比较结果;数据增强和预处理也要遵守同一划分边界。第 16 章的重构与维度扰动能检验表示保留了哪些信息,但不能单独证明普遍可解释性。
后记:以输出组织学习
作者回顾本书从博客写作到整理出版的过程:先设定一本可读的入门书作为输出目标,再围绕这个目标查阅论文、书籍和其他材料,并以分阶段交付整理理解。输出可以帮助发现知识缺口,但写得流畅并不能代替对事实、推导和适用条件的核对。
实践计划
书中的小麦分类示例提供了检查数据隔离的具体对象:《追踪交叉验证的数据边界》实践卡从成熟实现追踪分折、克隆和预处理。后记的学习方法可用于《用一页讲解检验学习》实践卡,以计算图讲解暴露理解缺口。这些是后续实践计划,目前没有执行结果。