来源书籍

深度学习的数学

Skill 版本:v24 31 张卡片

涌井良幸、涌井贞美 · 杨瑞龙 译 · 人民邮电出版社 · 2019-05-02 · ISBN 9787115509345

全书导读与主线

把手写数字变成像素输入之后,模型要依次回答三个问题:如何组合像素形成类别得分,如何用正确答案度量偏差,以及如何把偏差传回每个参数。前四章用同一个小型全连接网络讲通这条链。第五章将全连接特征提取改为卷积与池化,再用同一套求导规则训练共享参数。

前言与阅读说明

前言

同一品种的玫瑰也会改变大小、颜色和形状。手写识别同样难以穷举规则。有监督模型让设计者给出网络结构和带标签样本,再从样本拟合参数。碰到样本未代表的输入变化,仍需独立测试。

从样本学习识别规则

原书依据 · 1 处

本书的使用说明

使用说明限定了后续推导的场景:有监督图像分类、Sigmoid 激活、平方误差和 Excel 演示。网络结构与目标函数可以替换,换了以后需重算对应的局部导数。

Excel 示例文件的下载

示例按实验分工:先观察梯度下降,再分别对全连接模型和卷积模型用求解器与显式反传求参数;附录提供二值图像。

第 1 章 神经网络的思想

第 1 章 神经网络的思想

本章先把神经元抽象为计算单元,再将单元连接起来,最后把设置连接强度的问题转成训练问题。

1-1 神经网络和深度学习

以失真、带噪的手写 0 说明写规则为何困难。历史应用只作引入。神经元模型保留多路输入、权重、阈值和输出四个要素。

1-2 神经元工作的数学表示

每个输入先乘自己的权重,再求和,决定是否跨过阈值。以单位阶跃函数作用于 w·x−θ 表示点火,θ 是阈值。不同文献对恰等阈值有不同约定;用连续激活时无需该二分约定。负权重可让信号降低加权输入。

加权输入与点火

原书依据 · 1 处

1-3 激活函数:将神经元的工作一般化

把负阈值记作偏置 b,则加权输入 z=w·x+b,输出 a=σ(z)。偏置独立平移响应,输入为零时也可改变输出。Sigmoid 为 1/(1+exp(−z)),把任意实数压进 (0,1),连续可导;单个激活落在这个区间也不能确保多个输出之和为 1。

偏置与连续激活

原书依据 · 1 处

1-4 什么是神经网络

输入层转交 4×3 图像的 12 个像素,三个隐藏单元提取信息,两个输出分别给数字 0 和 1 打分,取较高的一项。全连接是相邻两层之间每个源单元都连接每个目标单元。两输出是本例的编码设计,二分类也可用一个输出配合阈值。

分层网络组合特征

原书依据 · 1 处

1-5 用恶魔来讲解神经网络的结构

三种模式 A、B、C 对应三组像素位置。数字 0 的示意图中 A 和 C 的响应较强,再经较大的连接权重影响数字 0 的输出。隐藏单元产生的是可组合的中间表示,弱信号也可能沿全连接路径传递。

隐藏单元响应局部模式

原书依据 · 1 处

1-6 将恶魔的工作翻译为神经网络的语言

类比中的“交情”对应连接权重,“个性”对应偏置。三种模式是解释为什么可试三个隐藏单元的架构假设;训练结果和新输入表现检验假设。视觉细胞的类比帮助理解模式响应。

1-7 网络自学习的神经网络

一张图像和对应的正确类别构成一个训练实例。参数为多张图像共用,把各实例上预测与正解的平方差相加便得到一个训练目标。改变权重和偏置以降低该目标,比逐张指定网络在每条路径上的响应更可操作。

监督学习是参数优化

原书依据 · 1 处

第 2 章 神经网络的数学基础

第 2 章 神经网络的数学基础

后续需要三套工具:向量和矩阵压缩记号,微分描述变化,递推将层间依赖化为可执行顺序。

2-1 神经网络所需的函数

固定权重时加权输入对数据是仿射的,固定数据时对权重和偏置也是仿射的。这个局部性质使参数求导简洁。二次函数为最小二乘提供直觉,阶跃与 Sigmoid 展示硬判定和光滑激活的差别。书中还以正态随机数产生初始参数,均值决定中心、标准差决定分散程度。

仿射输入和随机初值

原书依据 · 1 处

2-2 有助于理解神经网络的数列和递推关系式

通项直接写出某个位置的值,递推由已知边界和相邻项关系生成数列。网络每层的多个输出相互配合,可看作联立递推。前向有输入作起点,反向有输出层误差作边界,计算方向由已知量决定。

递推复用相邻层结果

原书依据 · 1 处

2-3 神经网络中经常用到的∑符号

求和符号把独立索引上的项加总,求和下标只在这次求和中起作用。和可以分拆,常数倍可以提到和号外。读网络公式时先找自由下标,再确认求和是在合并输入、样本还是卷积窗口。

求和下标与线性

原书依据 · 1 处

2-4 有助于理解神经网络的向量基础

向量的长度可用坐标平方和开根计算。内积等于对应坐标乘积的和,也等于两向量长度之积乘夹角余弦。长度固定时反向最小,同向最大。下降方向用前一性质,局部图像匹配用后一性质;比较长度不同的图案时原始点积还受幅值影响。

内积衡量方向对齐

原书依据 · 1 处

2-5 有助于理解神经网络的矩阵基础

矩阵元素由行列定位,同形矩阵可加减或逐项相乘。矩阵乘法取左矩阵的行和右矩阵的列的内积,要求内侧维一致,一般不交换。转置交换行列;单位矩阵在形状匹配时保留原值。反传的局部激活导数用逐项乘积,层间加权汇集用矩阵乘法。

矩阵乘法与逐项乘积

原书依据 · 1 处

2-6 神经网络的导数基础

导数是差商的极限,可读成切线斜率。导数对求和和常数倍是线性的。Sigmoid 的导数可由已有输出 a 写成 a(1−a),因此训练可复用前向结果。光滑函数内部极小点斜率为零,导数变号或比较函数值可帮助区分极小、极大与其他驻点。

导数与驻点

原书依据 · 1 处

2-7 神经网络的偏导数基础

偏导数沿一条坐标方向观察变化,其余自变量先冻结。内部极小值要求各偏导为零,例如 x²−y² 在原点梯度为零却沿 y 轴下降。存在等式约束时,拉格朗日乘数将候选条件与约束联立,还需判别求出的点。

偏导数固定其他变量

原书依据 · 1 处

2-8 误差反向传播法必需的链式法则

同一路径上的局部导数相乘;同一个变量经多个中间量影响结果,路径贡献相加。若 z=f(u,v),u 和 v 都依赖 x,则 dz/dx=fᵤu′+fᵥv′。神经单元的加权输入与激活是串联,隐藏层通向多个下游单元则形成分支。

链式法则累加多条路径

原书依据 · 1 处

2-9 梯度下降法的基础:多变量函数的近似公式

对足够小的位移 d,函数变化近似为 ∇f(x)·d。梯度由当前位置的偏导数组成,内积将各坐标位移的贡献相加。它是泰勒展开的一阶部分,大位移时曲率造成的偏差可能主导结果。

梯度给出局部线性变化

原书依据 · 1 处

2-10 梯度下降法的含义与公式

固定小位移的长度时,梯度与位移反向会使一阶变化最小。每步用 x←x−η∇f(x),到了新位置重算。这是局部最陡的欧氏方向,迭代路径和是否达到全局最小还依赖曲面、起点及学习率。

负梯度是一阶下降方向

原书依据 · 1 处

哈密顿算子

∇ 是把各坐标偏导排列起来的算子。学习率 η 乘梯度形成位移,实际长度是 η‖∇f‖。过大时可能越过低点并振荡,太小时进展慢。观察每轮代价有助于判断应换步长还是改变初始化。

学习率缩放梯度

原书依据 · 1 处

2-11 用 Excel 体验梯度下降法

表格从初值出发,每行计算梯度、位移、新坐标,再用新坐标填下一行。用可解析的二变量极小点比对结果。若改用单位梯度方向,则学习率才等于当步的位移长度。

2-12 最优化问题和回归分析

回归直线以 ŷ=ax+b 近似观测点,平方残差消除正负抵消,给大误差较高代价。对所有样本求半平方残差的和,并对斜率和截距求导,可得到线性回归的正规方程。参数能否唯一识别依赖样本提供独立信息,单凭样本数无法保证。

最小二乘连接回归和训练

原书依据 · 1 处

第 3 章 神经网络的最优化

第 3 章 神经网络的最优化

本章把分类写成参数化前向计算,再构造可供求解器最小化的标量目标。

3-1 神经网络的参数和变量

推理时权重和偏置固定,像素、加权输入及激活随图像而变;训练时则把权重和偏置作为目标函数的自变量。权重下标要分清目标单元和来源单元,样本编号独立记录,便于按实例累加。

区分模型参数与样本变量

原书依据 · 1 处

3-2 神经网络的变量的关系式

输入层把像素原样传入,后一层先算 z=W a+b,再逐元素算 a=σ(z)。对隐藏层和输出层执行同一模式即可得到类别得分。矩阵形状以输出单元为行、输入单元为列,能用尺寸检查发现连接方向错误。

前向传播逐层计算

原书依据 · 1 处

3-3 学习数据和正解

数字 0 编成 (1,0),数字 1 编成 (0,1),预测和目标同维度才可按项比较。分类用最大得分对应的类别。书以半平方误差讲原理,也提及交叉熵;对于独立 Sigmoid 配二元交叉熵,输出层对加权输入的梯度可化简为预测减标签。

类别标签对齐输出单元

原书依据 · 1 处

3-4 神经网络的代价函数

本书的代价 T 为所有样本半平方误差之和。在 12→3→2 网络中,隐藏层 36 个权重加 3 个偏置,输出层 6 个权重加 2 个偏置,共 47 个参数。激活的嵌套使代价通常并非参数的二次式,拟合好还需另测未见数据。

训练代价汇总样本误差

原书依据 · 1 处

3-5 用 Excel 体验神经网络

求解器实验把每个样本的前向与误差建成可复制单元,所有样本共用参数单元格。最小化误差总和后,固定参数输入新图像测试。收敛与初值有关,少量手写图测试只展示模型行为。

第 4 章 神经网络和误差反向传播法

第 4 章 神经网络和误差反向传播法

第 4 章关注训练最难的部分:如何高效算出每个权重和偏置对代价的影响。

4-1 梯度下降法的回顾

全批量代价是样本损失之和,求导的线性性允许把单个样本的梯度逐项相加。推导时可暂去样本编号,运行时要逐样本计算数值并从同一组参数求全部贡献,随后才做一次更新。

先算单样本梯度再累加

原书依据 · 1 处

4-2 神经单元误差

定义 δ=∂C/∂z,C 是单个样本的损失,z 是单元激活前的加权输入。偏置对 z 的导数为 1,所以偏置梯度就是 δ。权重对 z 的导数是该连接来源的激活 a,所以权重梯度为 δa。δ 衡量敏感度,与预测残差的定义不同。

单元误差还原参数梯度

原书依据 · 1 处

4-3 神经网络和误差反向传播法

平方损失下输出层 δ=(a−y)⊙σ′(z)。隐藏层先用下一层权重的转置汇集下游 δ,再逐项乘自己的 σ′(z)。前向保留激活,反向复用每层结果,从输出向输入方向扫描即可算全体梯度。

反传逐层复用误差

原书依据 · 1 处

4-4 用 Excel 体验神经网络的误差反向传播法

初始化后先前向预测,再从输出误差反推各层误差。单样本求梯度,全批汇总后统一更新并重复。书用 64 张图和 50 轮演示,额外输入新数字查看模型判断。训练损失曲线、独立样本表现与学习率是不同的观察量。

训练迭代的前向反向与更新

原书依据 · 1 处

第 5 章 深度学习和卷积神经网络

第 5 章 深度学习和卷积神经网络

卷积网络在隐藏层中加入重复利用局部检测器和区域汇聚的结构,沿用前一章的训练原则。

5-1 小恶魔来讲解卷积神经网络的结构

同一检测器扫描图像各处,记录每个位置的响应,池化再压缩这些记录。多个过滤器对应多类局部模式,输出综合它们打分。6×6 手写数字示例选三个过滤器是设计假设,可以根据验证结果更改。

卷积层扫描局部图案

原书依据 · 1 处

5-2 将小恶魔的工作翻译为卷积神

把一个特征映射分成不重叠的 2×2 窗口,每个窗口只保留最大值。这样可保留某区域是否强烈响应并减少后续输入,区域内精确位置和其他强度信息会丢失。书中数字 2 的样例用这一操作汇总过滤器 S 的局部响应。

最大池化保留最强响应

原书依据 · 1 处

5-3 卷积神经网络的变量关系式

6×6 输入、3×3 核、步长 1 且无填充,每个核产生 4×4 的映射。窗口与核逐项乘积求和,加同图共享的偏置,再激活。每图经池化成 2×2,三个池化图合计 12 个值供全连接输出。平均池化与 L2 池化分别保留平均强度与能量信息。

特征图共享核和偏置

原书依据 · 1 处

5-4 用 Excel 体验卷积神经网络

给 96 张二值图配三维正解。求解器在同一个目标上变动核、权重和偏置;随机初始化不收敛时重新试。前向和代价的表格可和下一节显式反传实验对照。

5-5 卷积神经网络和误差反向传播法

输出误差乘对应池化值即可得输出权重梯度。对于一个核元素,每个扫描位置都使用它,梯度是各位置 δ 乘窗口中对应像素之和;共享偏置的梯度是同图所有 δ 之和。通过最大池化时,唯一最大值的位置接收上游梯度,其他为零,并列点需采用实现约定。

卷积核梯度汇总所有窗口

原书依据 · 1 处

5-6 用 Excel 体验卷积神经网络的误差反向传播法

沿全连接实验的步骤,用每张图产生的过滤器、连接权重和偏置梯度对 96 张图求和。教材比较迭代值及新手写样本,步长过大或初值不佳可使损失未如预期下降。

附录

附录

附录 A 给出 4×3 的数字 0、1 学习图,含重复图案和可解释为扫描噪声的断线、斑点。它说明为何一个类别对应多个像素模式。

B 训练数据(2)

附录 B 是卷积示例的 6×6 二值数字 1、2、3 图阵,用于构造训练输入与类别标签。

C 用数学式表示模式的相似度

将两个同形 3×3 数组按相同顺序展开,内积等于对应像素乘积之和。对二值图案,它数出共同亮点,对于任意实数则是加权响应。附录借角度解释相似性;若要只比较方向,可在非零向量上比较归一化后的点积。

图案点积与幅值影响

原书依据 · 1 处

跨章综合

一次训练迭代把三件事分开。前向用当前参数计算各层表示并得到损失。反传按链式法则,将损失对中间量的敏感度算到每个参数。优化器再用梯度选择位移。线性回归的小例子可以直接解驻点方程,多层模型通常需要迭代。全连接与卷积共享这条训练链,其差异体现在局部梯度:全连接权重对应一条边,而卷积核元素在多个窗口出现,需要累加使用位置的贡献。

手算时可以先核对形状。全连接例是 12→3→2;卷积例中每个 3×3 核在 6×6 图上产生 4×4 响应,再池化成 2×2,三个图共 12 个数,最后产生三个类别得分。前向检查能发现索引问题,有限差分能独立核对反传。训练误差和新样本的结果分别说明拟合和外推能力。

发散与实践

以下是读者延伸计划,尚未执行。

  • 比较学习率与下降轨迹(ideas/idea-001-比较学习率与下降轨迹.md)。用曲率不同的二次函数区分方向选择与实际下降幅度。
  • 检查共享卷积核的梯度(ideas/idea-002-检查共享卷积核的梯度.md)。检查同一个核元素收到多个位置的梯度,以及池化如何改变梯度路径。
生成进度与管理记录

《深度学习的数学》概览

Skill 版本:v24 执行模式:light 建档进度:done 评级:经典原理,高信息浓度、高稳定性。核心材料沿同一个手写识别例子推导前向、损失、反传,并用卷积展示参数共享。历史事件和工具版本仅作辅助。 优先级:P4(AI 专项) 整书笔记:阅读正文 整书笔记版本:schema 1,SHA-256 46c8c6b45574ffcd71d2f6e180e1bc50ae78ef76d828d36f078e4f3a8c20b889

章节进度追踪表

章节号 章节标题 状态(pending/done) 卡片数
05 前言 done 1
06 本书的使用说明 done 0
07 Excel 示例文件的下载 done 0
08 第 1 章 神经网络的思想 done 0
09 1-1 神经网络和深度学习 done 0
10 1-2 神经元工作的数学表示 done 1
11 1-3 激活函数:将神经元的工作一般化 done 1
12 1-4 什么是神经网络 done 1
13 1-5 用恶魔来讲解神经网络的结构 done 1
14 1-6 将恶魔的工作翻译为神经网络的语言 done 0
15 1-7 网络自学习的神经网络 done 1
16 第 2 章 神经网络的数学基础 done 0
17 2-1 神经网络所需的函数 done 1
18 2-2 有助于理解神经网络的数列和递推关系式 done 1
19 2-3 神经网络中经常用到的∑符号 done 1
20 2-4 有助于理解神经网络的向量基础 done 1
21 2-5 有助于理解神经网络的矩阵基础 done 1
22 2-6 神经网络的导数基础 done 1
23 2-7 神经网络的偏导数基础 done 1
24 2-8 误差反向传播法必需的链式法则 done 1
25 2-9 梯度下降法的基础:多变量函数的近似公式 done 1
26 2-10 梯度下降法的含义与公式 done 1
27 哈密顿算子 done 1
28 2-11 用 Excel 体验梯度下降法 done 0
29 2-12 最优化问题和回归分析 done 1
30 第 3 章 神经网络的最优化 done 0
31 3-1 神经网络的参数和变量 done 1
32 3-2 神经网络的变量的关系式 done 1
33 3-3 学习数据和正解 done 1
34 3-4 神经网络的代价函数 done 1
35 3-5 用 Excel 体验神经网络 done 0
36 第 4 章 神经网络和误差反向传播法 done 0
37 4-1 梯度下降法的回顾 done 1
38 4-2 神经单元误差 done 1
39 4-3 神经网络和误差反向传播法 done 1
40 4-4 用 Excel 体验神经网络的误差反向传播法 done 1
41 第 5 章 深度学习和卷积神经网络 done 0
42 5-1 小恶魔来讲解卷积神经网络的结构 done 1
43 5-2 将小恶魔的工作翻译为卷积神 done 1
44 5-3 卷积神经网络的变量关系式 done 1
45 5-4 用 Excel 体验卷积神经网络 done 0
46 5-5 卷积神经网络和误差反向传播法 done 1
47 5-6 用 Excel 体验卷积神经网络的误差反向传播法 done 0
48 附录 done 0
49 B 训练数据(2) done 0
50 C 用数学式表示模式的相似度 done 1

非正文排除

spine项 类型 排除理由
1 titlepage.xhtml 封面 封面图与书名页
2 text/part0000_split_000.html 版权 版本、著译者和授权说明
3 text/part0000_split_001.html 目录 链接导航
4 text/part0000_split_002.html 版权 发行及权利声明
51 text/part0000_split_049.html 出版服务 答疑联系方式与社交账号

待关联术语

术语名 出现章节 一句话语境
张量 2-4 备注从应力张量引出多下标表示。
正则化 2-7 提及拉格朗日乘数法的应用,未推导正则化。

引用文献

标题 类型(书/论文/框架/源码项目) 出现章节 一句话语境
TensorFlow 框架 2-4、5-2 张量命名与工具举例。

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明

实践卡进度

序号 实践标题 实践方式 状态(pending/done) 关联章节 产出
1 比较学习率与下降轨迹 真实任务 done 哈密顿算子 ideas/idea-001-比较学习率与下降轨迹.md
2 检查共享卷积核的梯度 真实任务 done 5-5 卷积神经网络和误差反向传播法 ideas/idea-002-检查共享卷积核的梯度.md

实践候选筛选:done

未采用整本教程复刻和平台试用。前者超出可验证的局部目标,后者依赖外部服务。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。