此笔记位置已失效,请从目录继续阅读。
全书导读与主线
把手写数字变成像素输入之后,模型要依次回答三个问题:如何组合像素形成类别得分,如何用正确答案度量偏差,以及如何把偏差传回每个参数。前四章用同一个小型全连接网络讲通这条链。第五章将全连接特征提取改为卷积与池化,再用同一套求导规则训练共享参数。
前言与阅读说明
原书依据 · 1 处
本书的使用说明
使用说明限定了后续推导的场景:有监督图像分类、Sigmoid 激活、平方误差和 Excel 演示。网络结构与目标函数可以替换,换了以后需重算对应的局部导数。
Excel 示例文件的下载
示例按实验分工:先观察梯度下降,再分别对全连接模型和卷积模型用求解器与显式反传求参数;附录提供二值图像。
第 1 章 神经网络的思想
第 1 章 神经网络的思想
本章先把神经元抽象为计算单元,再将单元连接起来,最后把设置连接强度的问题转成训练问题。
1-1 神经网络和深度学习
以失真、带噪的手写 0 说明写规则为何困难。历史应用只作引入。神经元模型保留多路输入、权重、阈值和输出四个要素。
1-2 神经元工作的数学表示
每个输入先乘自己的权重,再求和,决定是否跨过阈值。以单位阶跃函数作用于 w·x−θ 表示点火,θ 是阈值。不同文献对恰等阈值有不同约定;用连续激活时无需该二分约定。负权重可让信号降低加权输入。
原书依据 · 1 处
1-3 激活函数:将神经元的工作一般化
把负阈值记作偏置 b,则加权输入 z=w·x+b,输出 a=σ(z)。偏置独立平移响应,输入为零时也可改变输出。Sigmoid 为 1/(1+exp(−z)),把任意实数压进 (0,1),连续可导;单个激活落在这个区间也不能确保多个输出之和为 1。
1-4 什么是神经网络
输入层转交 4×3 图像的 12 个像素,三个隐藏单元提取信息,两个输出分别给数字 0 和 1 打分,取较高的一项。全连接是相邻两层之间每个源单元都连接每个目标单元。两输出是本例的编码设计,二分类也可用一个输出配合阈值。
原书依据 · 1 处
1-5 用恶魔来讲解神经网络的结构
三种模式 A、B、C 对应三组像素位置。数字 0 的示意图中 A 和 C 的响应较强,再经较大的连接权重影响数字 0 的输出。隐藏单元产生的是可组合的中间表示,弱信号也可能沿全连接路径传递。
1-6 将恶魔的工作翻译为神经网络的语言
类比中的“交情”对应连接权重,“个性”对应偏置。三种模式是解释为什么可试三个隐藏单元的架构假设;训练结果和新输入表现检验假设。视觉细胞的类比帮助理解模式响应。
1-7 网络自学习的神经网络
一张图像和对应的正确类别构成一个训练实例。参数为多张图像共用,把各实例上预测与正解的平方差相加便得到一个训练目标。改变权重和偏置以降低该目标,比逐张指定网络在每条路径上的响应更可操作。
原书依据 · 1 处
第 2 章 神经网络的数学基础
第 2 章 神经网络的数学基础
后续需要三套工具:向量和矩阵压缩记号,微分描述变化,递推将层间依赖化为可执行顺序。
2-1 神经网络所需的函数
固定权重时加权输入对数据是仿射的,固定数据时对权重和偏置也是仿射的。这个局部性质使参数求导简洁。二次函数为最小二乘提供直觉,阶跃与 Sigmoid 展示硬判定和光滑激活的差别。书中还以正态随机数产生初始参数,均值决定中心、标准差决定分散程度。
原书依据 · 1 处
2-2 有助于理解神经网络的数列和递推关系式
通项直接写出某个位置的值,递推由已知边界和相邻项关系生成数列。网络每层的多个输出相互配合,可看作联立递推。前向有输入作起点,反向有输出层误差作边界,计算方向由已知量决定。
2-3 神经网络中经常用到的∑符号
求和符号把独立索引上的项加总,求和下标只在这次求和中起作用。和可以分拆,常数倍可以提到和号外。读网络公式时先找自由下标,再确认求和是在合并输入、样本还是卷积窗口。
2-4 有助于理解神经网络的向量基础
向量的长度可用坐标平方和开根计算。内积等于对应坐标乘积的和,也等于两向量长度之积乘夹角余弦。长度固定时反向最小,同向最大。下降方向用前一性质,局部图像匹配用后一性质;比较长度不同的图案时原始点积还受幅值影响。
2-5 有助于理解神经网络的矩阵基础
矩阵元素由行列定位,同形矩阵可加减或逐项相乘。矩阵乘法取左矩阵的行和右矩阵的列的内积,要求内侧维一致,一般不交换。转置交换行列;单位矩阵在形状匹配时保留原值。反传的局部激活导数用逐项乘积,层间加权汇集用矩阵乘法。
2-6 神经网络的导数基础
导数是差商的极限,可读成切线斜率。导数对求和和常数倍是线性的。Sigmoid 的导数可由已有输出 a 写成 a(1−a),因此训练可复用前向结果。光滑函数内部极小点斜率为零,导数变号或比较函数值可帮助区分极小、极大与其他驻点。
原书依据 · 1 处
2-7 神经网络的偏导数基础
偏导数沿一条坐标方向观察变化,其余自变量先冻结。内部极小值要求各偏导为零,例如 x²−y² 在原点梯度为零却沿 y 轴下降。存在等式约束时,拉格朗日乘数将候选条件与约束联立,还需判别求出的点。
原书依据 · 1 处
2-8 误差反向传播法必需的链式法则
同一路径上的局部导数相乘;同一个变量经多个中间量影响结果,路径贡献相加。若 z=f(u,v),u 和 v 都依赖 x,则 dz/dx=fᵤu′+fᵥv′。神经单元的加权输入与激活是串联,隐藏层通向多个下游单元则形成分支。
2-9 梯度下降法的基础:多变量函数的近似公式
对足够小的位移 d,函数变化近似为 ∇f(x)·d。梯度由当前位置的偏导数组成,内积将各坐标位移的贡献相加。它是泰勒展开的一阶部分,大位移时曲率造成的偏差可能主导结果。
2-10 梯度下降法的含义与公式
固定小位移的长度时,梯度与位移反向会使一阶变化最小。每步用 x←x−η∇f(x),到了新位置重算。这是局部最陡的欧氏方向,迭代路径和是否达到全局最小还依赖曲面、起点及学习率。
哈密顿算子
∇ 是把各坐标偏导排列起来的算子。学习率 η 乘梯度形成位移,实际长度是 η‖∇f‖。过大时可能越过低点并振荡,太小时进展慢。观察每轮代价有助于判断应换步长还是改变初始化。
原书依据 · 1 处
2-11 用 Excel 体验梯度下降法
表格从初值出发,每行计算梯度、位移、新坐标,再用新坐标填下一行。用可解析的二变量极小点比对结果。若改用单位梯度方向,则学习率才等于当步的位移长度。
2-12 最优化问题和回归分析
回归直线以 ŷ=ax+b 近似观测点,平方残差消除正负抵消,给大误差较高代价。对所有样本求半平方残差的和,并对斜率和截距求导,可得到线性回归的正规方程。参数能否唯一识别依赖样本提供独立信息,单凭样本数无法保证。
原书依据 · 1 处
第 3 章 神经网络的最优化
第 3 章 神经网络的最优化
本章把分类写成参数化前向计算,再构造可供求解器最小化的标量目标。
3-1 神经网络的参数和变量
推理时权重和偏置固定,像素、加权输入及激活随图像而变;训练时则把权重和偏置作为目标函数的自变量。权重下标要分清目标单元和来源单元,样本编号独立记录,便于按实例累加。
原书依据 · 1 处
3-2 神经网络的变量的关系式
输入层把像素原样传入,后一层先算 z=W a+b,再逐元素算 a=σ(z)。对隐藏层和输出层执行同一模式即可得到类别得分。矩阵形状以输出单元为行、输入单元为列,能用尺寸检查发现连接方向错误。
原书依据 · 1 处
3-3 学习数据和正解
数字 0 编成 (1,0),数字 1 编成 (0,1),预测和目标同维度才可按项比较。分类用最大得分对应的类别。书以半平方误差讲原理,也提及交叉熵;对于独立 Sigmoid 配二元交叉熵,输出层对加权输入的梯度可化简为预测减标签。
原书依据 · 1 处
3-4 神经网络的代价函数
本书的代价 T 为所有样本半平方误差之和。在 12→3→2 网络中,隐藏层 36 个权重加 3 个偏置,输出层 6 个权重加 2 个偏置,共 47 个参数。激活的嵌套使代价通常并非参数的二次式,拟合好还需另测未见数据。
原书依据 · 1 处
3-5 用 Excel 体验神经网络
求解器实验把每个样本的前向与误差建成可复制单元,所有样本共用参数单元格。最小化误差总和后,固定参数输入新图像测试。收敛与初值有关,少量手写图测试只展示模型行为。
第 4 章 神经网络和误差反向传播法
第 4 章 神经网络和误差反向传播法
第 4 章关注训练最难的部分:如何高效算出每个权重和偏置对代价的影响。
4-1 梯度下降法的回顾
全批量代价是样本损失之和,求导的线性性允许把单个样本的梯度逐项相加。推导时可暂去样本编号,运行时要逐样本计算数值并从同一组参数求全部贡献,随后才做一次更新。
原书依据 · 1 处
4-2 神经单元误差
定义 δ=∂C/∂z,C 是单个样本的损失,z 是单元激活前的加权输入。偏置对 z 的导数为 1,所以偏置梯度就是 δ。权重对 z 的导数是该连接来源的激活 a,所以权重梯度为 δa。δ 衡量敏感度,与预测残差的定义不同。
原书依据 · 1 处
4-3 神经网络和误差反向传播法
平方损失下输出层 δ=(a−y)⊙σ′(z)。隐藏层先用下一层权重的转置汇集下游 δ,再逐项乘自己的 σ′(z)。前向保留激活,反向复用每层结果,从输出向输入方向扫描即可算全体梯度。
4-4 用 Excel 体验神经网络的误差反向传播法
初始化后先前向预测,再从输出误差反推各层误差。单样本求梯度,全批汇总后统一更新并重复。书用 64 张图和 50 轮演示,额外输入新数字查看模型判断。训练损失曲线、独立样本表现与学习率是不同的观察量。
第 5 章 深度学习和卷积神经网络
第 5 章 深度学习和卷积神经网络
卷积网络在隐藏层中加入重复利用局部检测器和区域汇聚的结构,沿用前一章的训练原则。
5-1 小恶魔来讲解卷积神经网络的结构
同一检测器扫描图像各处,记录每个位置的响应,池化再压缩这些记录。多个过滤器对应多类局部模式,输出综合它们打分。6×6 手写数字示例选三个过滤器是设计假设,可以根据验证结果更改。
5-2 将小恶魔的工作翻译为卷积神
把一个特征映射分成不重叠的 2×2 窗口,每个窗口只保留最大值。这样可保留某区域是否强烈响应并减少后续输入,区域内精确位置和其他强度信息会丢失。书中数字 2 的样例用这一操作汇总过滤器 S 的局部响应。
5-3 卷积神经网络的变量关系式
6×6 输入、3×3 核、步长 1 且无填充,每个核产生 4×4 的映射。窗口与核逐项乘积求和,加同图共享的偏置,再激活。每图经池化成 2×2,三个池化图合计 12 个值供全连接输出。平均池化与 L2 池化分别保留平均强度与能量信息。
5-4 用 Excel 体验卷积神经网络
给 96 张二值图配三维正解。求解器在同一个目标上变动核、权重和偏置;随机初始化不收敛时重新试。前向和代价的表格可和下一节显式反传实验对照。
5-5 卷积神经网络和误差反向传播法
输出误差乘对应池化值即可得输出权重梯度。对于一个核元素,每个扫描位置都使用它,梯度是各位置 δ 乘窗口中对应像素之和;共享偏置的梯度是同图所有 δ 之和。通过最大池化时,唯一最大值的位置接收上游梯度,其他为零,并列点需采用实现约定。
5-6 用 Excel 体验卷积神经网络的误差反向传播法
沿全连接实验的步骤,用每张图产生的过滤器、连接权重和偏置梯度对 96 张图求和。教材比较迭代值及新手写样本,步长过大或初值不佳可使损失未如预期下降。
附录
附录
附录 A 给出 4×3 的数字 0、1 学习图,含重复图案和可解释为扫描噪声的断线、斑点。它说明为何一个类别对应多个像素模式。
B 训练数据(2)
附录 B 是卷积示例的 6×6 二值数字 1、2、3 图阵,用于构造训练输入与类别标签。
C 用数学式表示模式的相似度
将两个同形 3×3 数组按相同顺序展开,内积等于对应像素乘积之和。对二值图案,它数出共同亮点,对于任意实数则是加权响应。附录借角度解释相似性;若要只比较方向,可在非零向量上比较归一化后的点积。
原书依据 · 1 处
跨章综合
一次训练迭代把三件事分开。前向用当前参数计算各层表示并得到损失。反传按链式法则,将损失对中间量的敏感度算到每个参数。优化器再用梯度选择位移。线性回归的小例子可以直接解驻点方程,多层模型通常需要迭代。全连接与卷积共享这条训练链,其差异体现在局部梯度:全连接权重对应一条边,而卷积核元素在多个窗口出现,需要累加使用位置的贡献。
手算时可以先核对形状。全连接例是 12→3→2;卷积例中每个 3×3 核在 6×6 图上产生 4×4 响应,再池化成 2×2,三个图共 12 个数,最后产生三个类别得分。前向检查能发现索引问题,有限差分能独立核对反传。训练误差和新样本的结果分别说明拟合和外推能力。
发散与实践
以下是读者延伸计划,尚未执行。
- 比较学习率与下降轨迹(
ideas/idea-001-比较学习率与下降轨迹.md)。用曲率不同的二次函数区分方向选择与实际下降幅度。 - 检查共享卷积核的梯度(
ideas/idea-002-检查共享卷积核的梯度.md)。检查同一个核元素收到多个位置的梯度,以及池化如何改变梯度路径。