来源书籍

深度学习之美:AI时代的数据处理与最佳实践

Skill 版本:v24 103 张卡片

张玉宏 · 电子工业出版社 · 2018-06-01 · ISBN 9787121342462

导读

两篇推荐序从读者和编辑的角度交代写作缘起。作者把连载文章扩充为入门书,用生活类比降低理解门槛,又加进公式推导和项目。自序由此给出两条学习路线。理论先讲机器如何从经验改善表现,再走到神经元、网络训练和针对数据结构的模型。实践先用 Python 小项目认识数据与评价,再把训练交给框架执行。

全书主线

本书要回答的是:机器怎样从数据中学习预测,以及神经网络怎样把这种学习用于图像和序列。前五章先区分任务、训练信号和模型,用 Python 代码呈现线性回归与近邻分类。第 6–10 章从神经元和感知机出发,通过多层表示、损失、梯度与反向传播解释参数如何改变。第 11 章把手写计算转到框架;第 12–13 章利用局部连接、共享权重和池化处理图像,第 14–15 章用循环状态与门控处理序列,最后以胶囊网络讨论物体部件关系和表示的另一种设计。

阅读时把三个层次分开:模型结构决定怎样计算输出;损失衡量预测与目标的差异;优化与反向传播计算并应用参数更新。训练集、验证集和测试集承担不同职责,历史示例的训练结果不能自动代表未见数据的性能。书中旧版 TensorFlow 和部分演算有时效或符号问题,相关章节已经注明限制。

第 1 章 机器学习、特征和深度

把学习落实到计算机程序时,要先说明程序负责什么、从哪里得到经验,以及怎样衡量它是否变好。围棋程序可用自我对弈增加经验,再用胜率衡量对弈能力。不同定义也可从经验估计函数、从数据找规律的角度理解这个过程。任务指标经验定义学习给出可以复用的任务描述。

特征是对原始输入的可计算描述。例如图像可以表示为一组像素,像素也可以经过变换变成能反映边缘的信息。人工特征工程根据任务先决定怎样做这种变换,然后在所得特征上训练分类器。人工特征依赖领域先验说明这会把表示质量交给特征设计者。深层网络也需要特征,只是把中间变换纳入训练。把相对简单的模式逐层组合起来,可以得到与最终任务更贴近的描述。深层网络逐层学习表示进一步解释层级表示。

端到端系统指定原始输入和最终输出,用最终任务来约束中间表示的学习。书中以猫狗图像分类和从前置摄像头输出转向指令为例。联合训练扩大了模型可以选择的中间表示,也让分析中间表示和定位错误变得困难。书中借复杂系统和洞穴投影说明直接设计全局规则可能遭遇观测不足。作者用可统计性和可推理性来组织叙述,这一框架有助于理解其论证,具体模型仍要分别说明训练方法和解释能力。端到端联合学习映射概括联合训练的条件与工程取舍。

作者还对比了两种关于数据和模型规模的观点:一种强调大数据下简单模型的效果,另一种认为大量数据与更复杂模型结合可能带来更好的表现。这是对研究路线的讨论,不意味着增加数据或参数必然提高任何任务的效果;需要在具体任务上用独立数据评估。书中把 SVM、Boosting 和逻辑回归列作浅层学习的例子,这些方法的模型结构不同,不能一概当作单隐层神经网络。

书中的四象限图以“可统计/不可统计”和“可推理/不可推理”为两轴,将神经网络示意在可统计的一侧,并用逻辑推理和图像识别作例子。这是作者组织论述的示意,不应把统计学习与推理能力当成互斥的严格分类。作者还用“一人加一人”的漫画说明相互作用可能改变整体结果,用洞穴影子说明观察可能受限;这些比喻帮助理解端到端观点,但本身不能证明某个模型的效果或不可解释性。

加深网络能增加表示变换的机会,也带来资源消耗。章节用 VGGNet、DeepVideo 和 GNMT 展示图像、视频和翻译任务的训练规模,表中的数据属于书内历史案例。深度服务于表示学习将这部分的评价标准落到独立数据上的收益及资源成本。

原书依据 · 6 处

第 2 章 从经验数据到预测函数

章节先用数据主义、脑科学与人工模拟说明作者如何看待人工智能的由来。对人类社会作分布式系统的类比,以及对硅基智能的预测,属于书中的解释框架与历史观点。落实到机器学习项目时,任务、结构和学习信号可以各自说明。例如图像识别是任务,深层网络是结构,有标签训练是学习方式。监督方式与模型结构分开展示这些维度如何交叉。

当输入是一个实例时,可以用特征向量表示它。模型的工作是将实例映射到输出,例如把音频变成识别结果,把一组属性变成数值预测。输出是数值时可做回归,有限类别对应分类,给输入序列的各位置分配标签属于序列标注。训练样本提供拟合信号,测试样本用来检验模型在新数据上的表现。学习由建模评估优化组成把第 1 章的任务和指标落实为模型族、评价标准和参数搜索。

规则推理与连接权重说明规则路线与人工神经网络在知识表示上的不同。神经网络将简单单元互连起来,各单元先聚合输入,再做可产生非线性输出的变换。训练可使连接权重适应数据,网络的整体输出取决于各单元及其连接。书中讨论的非线性、互连、自适应和目标非凸性,分别指向表达能力、信息传播、参数学习和优化困难。

足够宽的前馈网络能在一定条件下逼近连续函数。这解释了为什么可以用同一种模型构造不同的预测函数。可近似性不保证泛化把理论结论限定在表示能力与相应输入区域内。书中对有限区间内的拟合进行演示,也让读者看到把区间扩大以后,测试问题已经变了。下一章会按训练时能得到的信号来区分不同学习设定。

神经网络优化可能面对非凸目标解释了优化地形可能带来的训练困难;非线性本身不自动证明每一个训练目标都非凸。

原书依据 · 6 处

第 3 章 学习依赖什么反馈

教师信号约束预测从已知输出学习预测规则,可以学习分类,也可以拟合数值。本章用 近邻投票依赖距离 展示一个实例算法。保存训练样本以后,新样本的类别由已标注邻居决定。距离度量和邻居数量会改变投票结果。

无标签时,分析者仍然必须明确自己所关心的结构。相似性定义改变聚类借形状与颜色的例子说明这一点。标准 K均值交替分配与更新 用最近中心归类,再用簇内均值更新中心,交替降低簇内距离平方和。初值、簇数与异常数据都可能改变所得划分。原书将随机森林列入无监督方法的举例并不适合用来理解标准随机森林,标准分类和回归随机森林使用标签。

半监督依赖聚类假设组合有标签与无标签样本。若一簇内样本的目标相似,已知标签有机会帮助推断其余样本。作者用中庸比拟标签约束与从数据发现结构的结合,这是教学类比。

强化学习优化长期回报面向动作序列。马可夫决策过程将状态、动作、转移概率和奖励写为环境模型。智能体要在尝试未知动作和使用已有经验之间分配机会。原书的西瓜例子显示了延迟回报的问题,自我对弈仍产生训练数据说明在规则明确的围棋环境可以自行产生经验,并提示这种条件未必适用于其他任务。

强化学习的反馈可能延迟;探索与利用需要权衡说明继续尝试新动作与使用当前较优动作之间的取舍。

原书依据 · 8 处

第 4 章 人生苦短对酒歌,我用Python乐趣多

本章为后续实验准备解释器、依赖库和组织代码的方法。科学计算库按职责分工按数据准备、数值运算、预测与绘图的职责看待生态。Anaconda 的环境管理和包依赖工具也在这条实践线上。书中的 Python 2 与 3 对比、Windows 和 Mac 安装界面属于写作当时。命令路径决定解释器提炼出跨环境仍要核对的命令解析和依赖归属问题。

例程可在交互式解释器中试验,也可保存为脚本重复执行。Python 用缩进界定语句块,容器根据需要选择顺序访问、键索引或成员关系。对象可变性影响函数调用解释函数操作容器可能产生的副作用,位置与关键字参数收集区分如何接收额外位置和关键字实参。模块将可复用的定义放进命名空间。程序也可以用类将状态和行为一起封装,为后文模型代码中的数据、参数和预测方法提供组织方式。

文本与字节通过编码转换说明 Python 3 中 Unicode 文本和字节序列如何经过编码转换;旧版本生态比较是历史背景。

Python 使用缩进表达代码块;Python代码块与执行方式涵盖交互运行、脚本与注释。Python容器按访问和可变性选择比较列表、元组、字典和集合,Python模块导入与名称绑定介绍模块导入,类和实例的属性与方法说明实例与类属性、方法及继承。函数调用还需区分对象修改与名称重新绑定。

原书依据 · 9 处

第 5 章 机器学习终觉浅,Python带我来实践

本章把第 3 章的监督学习流程写成 Python 程序。最小二乘拟合直线先从残差平方和推导一元模型的两个参数,再把均值、方差及协方差对应到代码。算出参数以后才能对指定输入生成预测。原书的简单示例复制训练样本演示预测与 RMSE,训练误差只衡量拟合说明怎样解释这个结果。

近邻实战依次组织训练和测试样本、度量距离、排序取邻居、表决并计算准确率。这个过程将算法的关键选项暴露出来。验证选择近邻数量处理邻域大小,缩放改变近邻次序说明特征单位为何改变邻居。后半章用 scikit-learn 接口在鸢尾花数据上完成分割、拟合和预测,可与手写流程对照。案例里的分数对应书中设置,换数据或拆分种子后需重新测量。

线性回归示例从数据准备到可视化:读取CSV后转换特征类型整理了文件读取和类型转换,绘制散点图检查样本关系说明散点图的用途。书中公式 5-15 的分母应为 x 的方差,示例函数所谓“方差”“协方差”实际是未除样本数的离差平方和及乘积和,二者比值仍给出斜率。

近邻分类先定义距离、找最近的 k 个训练样本,再以多数或加权投票预测;距离定义决定近邻对比不同距离,近邻分类的拟合预测与评估整理拟合、预测与评估。书中独立找邻居范例对无标签的测试输入仍减去一个维度,漏算最后特征,不能照搬。

原书依据 · 9 处

第 6 章 神经元模型

人工神经元把多个输入分别乘以连接权重,求和后减去阈值,再经激活函数得到输出。权重表示输入对加权和的影响,阈值改变函数输入的基准。它借鉴生物神经元受刺激后传递信号的直觉,但只是简化的数学模型。神经元加权汇集与激活列出公式和计算示例。

阶跃函数在阈值处跳变,直接用于依赖梯度的训练时难以提供有效更新信号;sigmoid 把输入平滑地映射到 0 与 1 之间,但在两端饱和时梯度也可能很小。阶跃与平滑激活的训练差异说明这一取舍。

书中回顾 McCulloch 和 Pitts 如何用简化神经元表达逻辑运算:输入为二元值时,改变阈值就能区分“两个都满足”与“至少一个满足”。阈值神经元实现逻辑门用具体数字说明。模型能表达某些逻辑关系,并不证明生物大脑的工作过程已被完整解释。书中关于循环连接和记忆的历史性解释也不应直接替代对现代循环网络随时间更新状态的说明。

卷积从另一个角度处理信号:在每个位移下,把输入与核对应位置相乘,再对位置求和;连续情形则使用积分。改变位移可得到新的输出序列。它与神经元的加权求和有形式上的相似,但卷积的权重由同一个核在不同位置复用;采用什么核决定了其效果,因此不能说所有卷积都会平滑输入。第 12 章再用图像说明这一运算。

原书依据 · 3 处

第 7 章 感知机学习

感知机用输入的加权和与阈值作二分类;标签提供希望得到的结果。每次预测后,若结果与标签不同,就用误差、输入和学习率调整权重,并按相同规则处理固定输入的阈值项。感知机用误差修正权重列出更新式和符号约定。书中前后式子对阈值符号和阶跃零点的约定不完全一致,使用时须固定约定并逐项核算。监督学习还包括回归,不能将所有监督学习都归为分类。

感知机也可从几何上理解:加权和等于阈值的位置构成决策边界,边界两侧可分配不同类别;二维边界通常是一条直线。它能表达 AND 等线性可分问题,却不能用单个边界分开 XOR 的交错类别。感知机用超平面分类解释边界与表达能力的关系。

赫布学习以共同活动可能加强连接为直觉;它本身不等同于利用标签和预测误差调整权重的监督学习。赫布学习关联共同活动区分相关性启发和有监督误差更新;感知机收敛需要线性可分说明线性可分数据下的有限更新结论及其边界。

原书依据 · 5 处

第 8 章 多层网络与训练

单个感知机只能给出一条线性分类边界。增加隐层后,可以先分别识别两种“输入不同”的情况,再由输出层合并,从而表示 XOR;各层激活提供非线性。隐层组合解决异或列出全部四种输入。这个构造使用预先给定的权重,证明表达能力,并不等于已经证明某次训练会找到它们。

前馈网络把前一层输出交给后一层,不把后层输出作为前层的循环输入。增加宽度可以提供更多中间特征;增加深度则允许逐层组合变换。通用近似定理是在特定条件下说明网络存在足够好的表示,不承诺训练能找到它,也不保证对新样本的效果,详见可近似性不保证泛化。书中语音识别实验对比了不同宽度、深度与训练方法的错误率;它说明这些配置在该实验中的差别,不能推论任何任务加深都会变好。深度服务于表示学习进一步讨论收益与成本。

分布式表示让一个概念由多个特征共同表达,同一特征也可能参与不同概念;这不意味着每个单元都有可读的人类标签。概念由分布式特征表示解释这种多对多关系。Dropout 训练时随机屏蔽部分单元,以减少对固定组合的依赖;推理时的缩放要依具体实现理解。Dropout训练时随机屏蔽说明训练与推理的区别。多个模型也可组合预测;集成效果依赖准确与差异说明为何成员既要有预测能力,也要有差异。

损失函数把预测与目标之间的差异变成训练时可优化的数值;不同函数对错误的惩罚不同。损失函数定义误差代价比较三种基本损失。训练多层网络时,反向传播利用链式法则计算各层梯度;若连续相乘的导数使早期梯度很小,参数更新会变慢。深层链式求导可能削弱梯度解释这一现象。书中将梯度消失归因于热力学熵、并将深度学习与反向传播说成两种互斥的训练方向,这些说法不能作为一般结论:深度网络可以使用反向传播,历史上的逐层预训练只是特定方法。

原书依据 · 10 处

第 9 章 梯度与参数更新

对给定训练样本,模型输出与目标之间的损失随参数变化而变化。梯度把损失对各个参数的局部变化率组合成方向;负梯度提供局部下降方向。梯度给出局部变化方向说明如何计算方向,梯度下降依赖方向与步长展示学习率如何影响一次更新。梯度为零只代表驻点,不一定是最小值。

全量梯度使用所有样本计算一次更新,随机梯度用抽取的样本估计更新,二者在每次计算成本和方向波动上有所不同。批量与随机梯度的取舍解释各自取舍,随机更新并不保证全局最优。

对于线性回归,可把各样本的半平方误差相加,得到关于权重的目标函数。每个权重的更新由残差和对应输入共同决定;样本与标签固定,但预测随权重变化。 平方误差的线性模型更新写出了求导结果。

书中线性回归例子先归一化再用 SGD 拟合,并从训练数据抽取四条展示预测。这样的展示可以检查拟合或代码,但不能评估新数据的泛化;应先划分训练集和测试集,用训练集拟合缩放参数,再将同一变换应用到测试集。训练误差只衡量拟合解释数据隔离的原因。

模拟退火则以一定概率接受使目标变差的候选,并随温度下降降低接受概率;这提供了探索其他区域的可能,但不保证有限时间找到全局最优。模拟退火允许有条件的逆向移动进一步说明该方法及其适用边界。

原书依据 · 7 处

第 10 章 前向计算与反向求导

前向计算按网络连接逐层求出激活值和损失;反向传播从损失出发,用链式法则计算每个参数对损失的影响。变量通过多条路径影响结果时,路径贡献要相加。链式法则汇合路径贡献用两个分支的例子说明计算。反向微分复用中间梯度说明反向模式如何复用中间梯度;前向自动微分同样能复用中间结果,不应被简化为必须枚举全部路径。计算梯度之后,还需要优化规则更新参数。

在半平方损失与 sigmoid 输出的例子中,输出单元的梯度由预测误差乘激活函数导数组成;隐层单元则汇总下游梯度的加权影响,再乘自身激活导数。每条连接的梯度还与该连接的输入有关。输出误差传回隐层解释这些量如何衔接。原书公式 10-28 的符号与定义不一致,后续数值演算的隐层责任符号也与所列乘积相反,个别权重行混用了数值;使用时应沿同一梯度约定重新计算,不能照抄结果。

书中的代码把前向传播、反向计算责任值和参数更新分成步骤;一个 epoch 是完整遍历一次训练集。小麦分类例子使用五折评估,但代码先对全数据归一化,并在各折复用同一网络,因而折间没有完全隔离。交叉验证每折重建训练流程说明如何避免预处理和模型状态泄漏。

章末以支持向量机在手写识别中的历史应用对照神经网络:核方法可以在选定的特征空间构造非线性决策边界,但不能保证任意数据都变得线性可分。书中将 BP 限制在浅层网络、将模型优劣归于单一历史因素的说法过于绝对。下一章转向框架:自动微分和现成算子减少手写求导工作,但仍需理解数据、模型与评估。

原书依据 · 4 处

第 11 章 TensorFlow 与开发环境

书中以 2018 年前后的框架生态与 TensorFlow 1.x 为背景,比较框架并介绍安装。安装过程的通用思路是先隔离依赖、选择匹配的构建包,再运行小例子验证;隔离环境安装与核验概括环境步骤。需要针对硬件或功能自行构建时,源码编译需要环境匹配说明从源码到安装包的流程及版本依赖。书中具体命令和平台判断是历史资料,使用时应核对所选版本。Notebook 可以把代码、输出和解释放在同一文档, Notebook结合代码与说明记录书中的交互方式及复现注意点。

TensorFlow 1.x 的示例将构建图与会话执行分开:图用节点表示运算、用边表示依赖或流动的数据;会话根据请求的结果执行相关运算。占位符接受运行时输入,变量保留可更新的模型状态。数据流图与会话执行概括节点、边与运行目标;占位输入与可更新变量区分运行时输入和可更新状态。张量形状与按轴归约用矩阵说明轴数、形状和归约;用TensorBoard检查计算图记录日志可视化的操作思路。具体接口须按框架版本核对。

MNIST 例子把一张手写数字图像展成像素向量,用线性变换为每个类别算一个分数,再用 Softmax 将分数转成和为一的概率;交叉熵衡量预测与目标分布的差异。优化器根据损失更新参数,最终用未参与拟合的数据测试:MNIST分类模型的端到端步骤串起数据形状与流程。Softmax把分类分数转成分布说明分数到概率的映射;交叉熵评估预测分布解释交叉熵、目标熵与 KL 散度的关系。书中公式 11-3 把类别分数误写成输入 x,描述 KL 最小值时也混淆了 KL 与交叉熵;上面的解释按一致定义表达。

即时执行便于逐步调试对照了即时执行与书中 1.x 图模式;书中的试验版安装和接口仅是历史示例。

原书依据 · 11 处

第 12 章 卷积网络

卷积是一种按位置移动、相乘并累加的运算:每个输出位置组合输入与核在相应位移上的值。连续信号用积分,离散信号用求和。 卷积按位移加权叠加给出一个小例子,并区分卷积与互相关。平滑依赖核与函数条件,不能把所有卷积都视为平滑。

图像可以表示为像素矩阵,彩色图像还包含通道。卷积核在局部区域计算加权和,同一个核在各位置共享参数,多个核产生多个输出通道。局部连接与参数共享用参数量例子说明局部连接与共享,也区分输入通道与核的数量。步幅决定窗口移动距离,填充改变边界可用范围;步幅填充决定输出大小给出输出大小的计算。书中展示的固定滤波器可以实现边缘检测或平均,而可训练卷积层的核权重通常由训练学习。

卷积后的非线性激活使多层网络不再等同于单个仿射变换;非线性激活扩展表达解释原因。ReLU 在正输入区保留数值,负输入区输出零,有利于部分条件下的梯度传播,但并不消除所有梯度问题;ReLU正区与失活风险说明其失活风险。池化则用局部最大值或均值缩小表示,代价是丢失部分位置信息;池化汇总局部区域也区分了前向输出与反向梯度。输出端可以用全连接层或其他结构,具体取决于任务。

欠拟合与过拟合看训练和泛化进一步说明该方法及其适用边界。

卷积网络的发展可追溯到视觉感受野研究以及 Neocognitron、LeNet 等工作;这些历史联系提供设计背景,而不是证明所有视觉系统都按同一方式工作。书末提到用全局平均池化代替某些全连接层:它在每个通道的空间位置上求平均,得到每通道一个值,是否适合仍取决于任务和结构。

原书依据 · 7 处

第 13 章 卷积网络编程

书中以当时的 TensorFlow 接口演示卷积与图像滤波。模型需要清楚每一维的含义:一批图像的批量、高、宽、通道与卷积核的空间尺寸、输入通道、输出通道必须匹配。卷积输入输出的维度用具体形状说明;书中 API 和安装步骤是历史版本,实际使用时应查所用版本的文档。

规范化可以调整特征尺度;批规范化使用小批量统计量标准化,再用可学习参数缩放和平移。 批规范化依赖批统计与可学习变换说明训练与推理模式及其边界。缩放和平移是仿射变换,标准化也不保证分布变为高斯。

书中的 MNIST 卷积示例将两层卷积与池化接到全连接分类器;卷积分类器逐层核对形状按每层形状说明数据如何流动。训练以 logits 交叉熵和 Adam 更新,Adam按梯度矩调整更新解释其梯度矩估计;训练与评估的 dropout 设置不同。书中数值仅为示例输出,本次未运行。

AlexNet 在历史上结合较深卷积网络、ReLU、dropout、GPU 和数据增强;书中的 MNIST 示例只有三层卷积,是借鉴架构的简化版。数据增强利用保持标签的变化说明增强应服从标签语义并避免数据泄漏。书中图示的 100% 是训练批次准确率,不能视为测试准确率。

局部响应规范化比较邻近通道按同一位置的邻近通道响应进行缩放;它与按批统计量计算的批规范化使用不同的信息。

用固定卷积核观察图像滤波进一步说明该方法及其适用边界。

原书依据 · 7 处

第 14 章 循环网络与序列

序列任务中,当前输入的解释可能依赖先前内容。RNN 在时间步之间传递隐状态,用当前输入和旧状态计算新状态;同一转移规则在各步复用。循环状态汇集历史与当前输入解释其计算与记忆限制。根据任务,输入和输出可以逐步对齐,也可以把整段输入转换成单个结果或另一段不同长度的序列;序列任务的输入输出对齐列举这些形式。CNN 和其他前馈架构同样可以被设计来处理序列,不应将序列依赖视为 RNN 的专属能力。

训练时可将循环按时间展开,再从损失沿各步反向计算梯度;共享参数在不同时刻的贡献需要汇总。时间展开反传共享参数解释长序列的梯度问题。书中仅由 sigmoid 的导数推断每步固定衰减为四分之一,忽略了循环权重等因素,不能作为一般结论。

作者通过历史与当前决策引入序列,但马尔可夫性质是给定状态后的条件独立,不是历史从未产生作用:马尔可夫性依赖状态定义明确状态定义的重要性。历史上反馈连接也用于联想记忆,联想记忆从扰动状态恢复模式说明 Hopfield 网络的目的与局限,区别于 Elman 网络处理序列。

正弦预测示例用前 10 个数预测下一点,把当前输入和历史状态拼接后进行矩阵运算。序列批次按连续性管理状态说明何时可以跨批次延续状态;书中随机生成独立序列却跨批次及评估传状态,并重复使用测试样本,不能把示例误差当作严谨的最终泛化结果。

原书依据 · 6 处

第 15 章 门控循环与语言模型

普通 RNN 处理长距离依赖时可能出现梯度消失或爆炸。LSTM 引入单元状态和门控:遗忘门调节旧状态,输入门控制候选信息写入,输出门控制可见状态。LSTM门控更新记忆给出更新关系及其局限;加法路径有助于信息传递,但不能保证梯度永远不消失。GRU 采用不同的门控与状态组织,GRU合并状态与门控说明其与 LSTM 的关系。

语言建模还需要表示词。词袋用词频表示文本而忽略顺序;分布假说则用词出现的上下文寻找关系,上下文分布提供词义线索说明它为何能提供线索。独热编码可以区分词,却不直接编码相似性;词嵌入将词索引映射为向量说明可学习的稠密向量如何提供另一种表示,以及这种表示不保证保留所有语义。

语言模型为词序列分配概率,可以将句子的联合概率分解为逐词条件概率的乘积:每个词的概率以它前面的词为条件。N-gram 将每一步的上下文限制在最近若干词,以降低估计难度,但仍可为任意长度的句子逐步计算概率。Ngram使用有限上下文说明这个近似及稀疏性。

Penn Treebank 示例把语料切成连续窗口,让每个时间步预测下一词,嵌入层将词索引映射为向量;下一个词预测的输入标签错位说明输入与标签错位。训练时采用梯度裁剪,控制梯度向量过大带来的更新风险;梯度裁剪限制更新尺度,评估时以困惑度是平均预测损失的指数汇总下一个词的预测损失。书中直接把整数索引称作独热向量、把 concat 与 stack 视为等价,以及把困惑度当作实际候选数,均需按上述定义修正。

作者以研究者之间的历史争论提出对照不同观点建立领域地图:比较不同路径可以快速建立问题地图,仍需查验论证本身。

为减少过拟合,书中讨论在循环语言模型的层间连接使用 dropout,同时保留时间方向的循环路径。循环网络正则化需考虑状态路径说明这一特定方案与其适用边界。

原书依据 · 10 处

第 16 章 胶囊网络

书中以部件之间的空间关系引出胶囊网络。不变表示在输入变换后保持相同;同变表示随输入按对应规则变化,可以保留位置或姿态信息。不变与同变保留不同信息解释二者差异。普通卷积在一定条件下本身具有平移等变性,书中的“CNN 对旋转和缩放不敏感”及胶囊网络优势应理解为作者基于当时研究提出的观点,不能无条件推广。

书中的向量胶囊用向量长度表达存在程度、用方向承载实例表示;胶囊向量长度与方向解释 squash 的作用。低层向量先变换为对高层的预测,再通过耦合系数加权并按一致性迭代调整,动态路由聚合一致预测说明这一过程。类别胶囊可分别使用边缘损失;胶囊边缘损失区分真假类区分真实类和非真实类的惩罚方向,并纠正书中的文字颠倒。

书中还用解码器从选定胶囊重构数字,并扰动向量维度观察图形变化。重构检验表征保留的信息说明这种实验能提供什么证据,以及为何它不能单独证明完全可逆或普遍可解释。

书中的 MNIST 实现将边缘损失与加权重构损失相加:训练时用真实标签选择重构胶囊,评估时默认按预测类别选择,并依据验证损失保存模型。书中展示的准确率属于其特定数据、配置与历史软件环境,并非本次复现实测。

本书结语把深度学习的价值与局限并列:模型可以从大量数据中学习表示,但解释、数据需求和超参数选择仍需认真对待。这是作者写作时的总结;具体能力与限制要放到模型、任务和证据中判断。

书中也指出原始胶囊方案在 CIFAR-10 上的表现和同类实例挤在相近位置时的识别困难。向量维度扰动或少量重叠数字的重构能提供特定实验中的线索,但不足以证明所有胶囊维度都具有稳定、普遍的人类可解释含义。

原书依据 · 5 处

跨章联系

表示与训练。 第 1 章的特征学习,到第 6–8 章变成神经元的加权和、多层非线性及分布式表示;第 9–10 章的梯度和链式法则则回答这些特征如何通过损失被调整。表达能力是“存在某组参数能表示”,训练是否找到这些参数、能否泛化是不同问题。

结构与数据。 卷积核在图像不同位置复用同一组参数,适合利用局部空间结构;循环网络在各时间步复用转移参数,把前一状态带到下一时刻。两者都用共享参数表达先验,但各自共享的维度及信息流不同。LSTM 的门控改变循环状态的更新方式;胶囊动态路由则聚合部件对高层实体的预测,它们解决的问题和计算方式并不相同。

评价与证据。 第 5 章展示的训练误差、第 10 章的交叉验证、第 13 章的训练批次准确率和第 15 章的测试困惑度都在评价不同对象。先明确数据是否参与拟合、指标由什么计算以及实验条件,才可以比较结果;数据增强和预处理也要遵守同一划分边界。第 16 章的重构与维度扰动能检验表示保留了哪些信息,但不能单独证明普遍可解释性。

后记:以输出组织学习

作者回顾本书从博客写作到整理出版的过程:先设定一本可读的入门书作为输出目标,再围绕这个目标查阅论文、书籍和其他材料,并以分阶段交付整理理解。输出可以帮助发现知识缺口,但写得流畅并不能代替对事实、推导和适用条件的核对。

实践计划

书中的小麦分类示例提供了检查数据隔离的具体对象:《追踪交叉验证的数据边界》实践卡从成熟实现追踪分折、克隆和预处理。后记的学习方法可用于《用一页讲解检验学习》实践卡,以计算图讲解暴露理解缺口。这些是后续实践计划,目前没有执行结果。

生成进度与管理记录

《深度学习之美:AI时代的数据处理与最佳实践》概览

Skill 版本:v24

执行模式:light

建档进度:done

正式评级:信息浓度高、稳定性高,经典原理;总表当前优先级 P4。第 6–10 章解释神经元、梯度和反向传播,第 12–16 章解释卷积、循环、门控与路由机制及边界;这些原理可迁移。第 4、11、13 章的安装截图及 TensorFlow 1.x API 有时效性,不作为当前操作说明。

主内容形态:概念解析型;书中穿插 Python 和历史框架操作示例。

整书笔记

章节进度追踪表

章节号 章节标题 状态(pending/done) 卡片数
006 推荐序一 通俗也是一种美德 done 0
007 推荐序二 技术,也可以“美”到极致 done 0
008 自序 深度学习的浅度梦想 done 0
009 第1章 一入侯门“深”似海,深度学习深几许 done 0
010 章首导语 done 0
011 1.1 深度学习的巨大影响 done 0
012 1.2 什么是学习 done 0
013 1.3 什么是机器学习 done 1
014 1.4 机器学习的4个象限 done 1
015 1.5 什么是深度学习 done 1
016 1.6 “恋爱”中的深度学习 done 0
017 1.7 深度学习的方法论 done 1
018 1.8 有没有浅层学习 done 1
019 1.9 本章小结 done 0
020 1.10 请你思考 done 0
021 参考资料 done 0
022 第2章 人工“碳”索意犹尽,智能“硅”来未可知 done 0
023 章首导语 done 0
024 2.1 信数据者得永生吗 done 0
025 2.2 人工智能的“江湖定位” done 0
026 2.3 深度学习的归属 done 1
027 2.4 机器学习的形式化定义 done 1
028 2.5 为什么要用神经网络 done 1
029 2.6 人工神经网络的特点 done 1
030 2.7 什么是通用近似定理 done 1
031 2.8 本章小结 done 0
032 2.9 请你思考 done 0
033 参考资料 done 0
034 第3章 “机器学习”三重门,“中庸之道”趋若人 done 0
035 章首导语 done 0
036 3.1 监督学习 3.1.1 感性认知监督学习 3.1.2 监督学习的形式化描述 3.1.3 k-近邻算法 done 2
037 3.2 非监督学习 3.2.1 感性认识非监督学习 3.2.2 非监督学习的代表—K均值聚类 done 2
038 3.3 半监督学习 done 1
039 3.4 从“中庸之道”看机器学习 done 0
040 3.5 强化学习 done 2
041 3.6 本章小结 done 1
042 3.7 请你思考 done 0
043 参考资料 done 0
044 第4章 人生苦短对酒歌,我用Python乐趣多 done 0
045 章首导语 done 0
046 4.1 Python概要 4.1.1 为什么要用Python 4.1.2 Python中常用的库 done 1
047 4.2 Python的版本之争 done 1
048 4.3 Python环境配置 4.3.1 Windows下的安装与配置 4.3.2 Mac下的安装与配置 done 1
049 4.4 Python编程基础 4.4.1 如何运行Python代码 4.4.2 代码缩进 4.4.3 注释 4.4.4 Python中的数据结构 4.4.5 函数的设计 4.4.6 模块的导入与使用 4.4.7 面向对象程序设计 done 6
050 4.5 本章小结 done 0
051 4.6 请你思考 done 0
052 参考资料 done 0
053 第5章 机器学习终觉浅,Python带我来实践 done 0
054 章首导语 done 0
055 5.1 线性回归 5.1.1 线性回归的概念 5.1.2 简易线性回归的Python实现详解 done 4
056 5.2 k-近邻算法 5.2.1 k-近邻算法的三个要素 5.2.2 k-近邻算法实战 5.2.3 使用scikit-learn实现k-近邻算法 done 4
057 5.3 本章小结 done 0
058 5.4 请你思考 done 0
059 参考资料 done 0
060 第6章 神经网络不胜语,M-P模型似可寻 done 0
061 章首导语 done 0
062 6.1 M-P神经元模型是什么 done 1
063 6.2 模型背后的那些人和事 done 1
064 6.3 激活函数是怎样的一种存在 done 1
065 6.4 什么是卷积函数 done 0
066 6.5 本章小结 done 0
067 6.6 请你思考 done 0
068 参考资料 done 0
069 第7章 Hello World感知机,懂你我心才安息 done 0
070 章首导语 done 0
071 7.1 网之初,感知机 done 0
072 7.2 感知机名称的由来 done 1
073 7.3 感性认识“感知机” done 0
074 7.4 感知机是如何学习的 done 0
075 7.5 感知机训练法则 done 1
076 7.6 感知机的几何意义 done 1
077 7.7 基于Python的感知机实战 done 0
078 7.8 感知机的表征能力 done 1
079 7.9 本章小结 done 0
080 7.10 请你思考 done 0
081 参考资料 done 0
082 第8章 损失函数减肥用,神经网络调权重 done 0
083 章首导语 done 0
084 8.1 多层网络解决“异或”问题 done 1
085 8.2 感性认识多层前馈神经网络 done 0
086 8.3 是浅而“胖”好,还是深而“瘦”佳 done 0
087 8.4 分布式特征表达 done 1
088 8.5 丢弃学习与集成学习 done 2
089 8.6 现实很丰满,理想很骨感 done 0
090 8.7 损失函数的定义 done 1
091 8.8 热力学定律与梯度弥散 done 1
092 8.9 本章小结 done 0
093 8.10 请你思考 done 0
094 参考资料 done 0
095 第9章 山重水复疑无路,最快下降问梯度 done 0
096 章首导语 done 0
097 9.1 “鸟飞派”还飞不 done 0
098 9.2 1986年的那篇神作 done 0
099 9.3 多层感知机网络遇到的大问题 done 0
100 9.4 神经网络结构的设计 done 0
101 9.5 再议损失函数 done 0
102 9.6 什么是梯度 done 1
103 9.7 什么是梯度递减 done 2
104 9.8 梯度递减的线性回归实战 done 0
105 9.9 什么是随机梯度递减 done 2
106 9.10 利用SGD解决线性回归实战 done 0
107 9.11 本章小结 done 0
108 9.12 请你思考 done 0
109 参考资料 done 0
110 第10章 BP算法双向传,链式求导最缠绵 done 0
111 章首导语 done 0
112 10.1 BP算法极简史 done 0
113 10.2 正向传播信息 done 0
114 10.3 求导中的链式法则 done 2
115 10.4 误差反向传播 10.4.1 基于随机梯度下降的BP算法 10.4.2 输出层神经元的权值训练 10.4.3 隐含层神经元的权值训练 10.4.4 BP算法的感性认知 10.4.5 关于BP算法的补充说明 done 1
116 10.5 BP算法实战详细解释 10.5.1 初始化网络 10.5.2 信息前向传播 10.5.3 误差反向传播 10.5.4 训练网络(解决异或问题) 10.5.5 利用BP算法预测小麦品种的分类 done 1
117 10.6 本章小结 done 0
118 10.7 请你思考 done 0
119 参考资料 done 0
120 第11章 一骑红尘江湖笑,TensorFlow谷歌造 done 0
121 章首导语 done 0
122 11.1 TensorFlow概述 done 0
123 11.2 深度学习框架比较 11.2.1 Theano 11.2.2 Keras 11.2.3 Caffe 11.2.4 PyTorch done 0
124 11.3 TensorFlow的安装 11.3.1 Anaconda的安装 11.3.2 TensorFlow的CPU版本安装 11.3.3 TensorFlow的源码编译 done 2
125 11.4 Jupyter Notebook的使用 11.4.1 Jupyter Notebook的由来 11.4.2 Jupyter Notebook的安装 done 1
126 11.5 TensorFlow中的基础语法 11.5.1 什么是数据流图 11.5.2 构建第一个TensorFlow数据流图 11.5.3 可视化展现的TensorBoard 11.5.4 TensorFlow的张量思维 11.5.5 TensorFlow中的数据类型 11.5.6 TensorFlow中的操作类型 11.5.7 TensorFlow中的Graph对象 11.5.8 TensorFlow中的Session 11.5.9 TensorFlow中的placeholder 11.5.10 TensorFlow中的Variable对象 11.5.11 TensorFlow中的名称作用域 11.5.12 张量的Reduce方向 done 4
127 11.6 手写数字识别MNIST 11.6.1 MNIST数据集简介 11.6.2 MNIST数据的获取与预处理 11.6.3 分类模型的构建—Softmax Regression done 3
128 11.7 TensorFlow中的Eager执行模式 11.7.1 Eager执行模式的背景 11.7.2 Eager执行模式的安装 11.7.3 Eager执行模式的案例 11.7.4 Eager执行模式的MNIST模型构建 done 1
129 11.8 本章小结 done 0
130 11.9 请你思考 done 0
131 参考资料 done 0
132 第12章 全面连接困何处,卷积网络显神威 done 0
133 章首导语 done 0
134 12.1 卷积神经网络的历史 12.1.1 眼在何方?路在何方? 12.1.2 卷积神经网络的历史脉络 12.1.3 那场著名的学术赌局 done 0
135 12.2 卷积神经网络的概念 12.2.1 卷积的数学定义 12.2.2 生活中的卷积 done 1
136 12.3 图像处理中的卷积 12.3.1 计算机“视界”中的图像 12.3.2 什么是卷积核 12.3.3 卷积在图像处理中的应用 done 0
137 12.4 卷积神经网络的结构 done 0
138 12.5 卷积层要义 12.5.1 卷积层的设计动机 12.5.2 卷积层的局部连接 12.5.3 卷积层的3个核心概念 done 2
139 12.6 细说激活层 12.6.1 两个看似闲扯的问题 12.6.2 追寻问题的本质 12.6.3 ReLU的理论基础 12.6.4 ReLU的不足之处 done 3
140 12.7 详解池化层 done 1
141 12.8 勿忘全连接层 done 0
142 12.9 本章小结 done 0
143 12.10 请你思考 done 0
144 参考资料 done 0
145 第13章 纸上谈兵终觉浅,绝知卷积要编程 done 0
146 章首导语 done 0
147 13.1 TensorFlow的CNN架构 done 0
148 13.2 卷积层的实现 13.2.1 TensorFlow中的卷积函数 13.2.2 图像处理中的常用卷积核 done 2
149 13.3 激活函数的使用 13.3.1 Sigmoid函数 13.3.2 Tanh函数 13.3.3 修正线性单元——ReLU 13.3.4 Dropout函数 done 0
150 13.4 池化层的实现 done 0
151 13.5 规范化层 13.5.1 为什么需要规范化 13.5.2 局部响应规范化 13.5.3 批规范化 done 2
152 13.6 卷积神经网络在MNIST分类器中的应用 13.6.1 数据读取 13.6.2 初始化权值和偏置 13.6.3 卷积和池化 13.6.4 构建第一个卷积层 13.6.5 构建第二个卷积层 13.6.6 实现全连接层 13.6.7 实现Dropout层 13.6.8 实现Readout层 13.6.9 参数训练与模型评估 done 2
153 13.7 经典神经网络——AlexNet的实现 13.7.1 AlexNet的网络架构 13.7.2 数据读取 13.7.3 初始化权值和偏置 13.7.4 卷积和池化 13.7.5 局部响应归一化层 13.7.6 构建卷积层 13.7.7 实现全连接层和Dropout层 13.7.8 实现Readout层 13.7.9 参数训练与模型评估 done 1
154 13.8 本章小结 done 0
155 13.9 请你思考 done 0
156 参考资料 done 0
157 第14章 循环递归RNN,序列建模套路深 done 0
158 章首导语 done 0
159 14.1 你可能不具备的一种思维 done 1
160 14.2 标准神经网络的缺陷所在 done 0
161 14.3 RNN简史 14.3.1 Hopfield网络 14.3.2 Jordan递归神经网络 14.3.3 Elman递归神经网络 14.3.4 RNN的应用领域 done 1
162 14.4 RNN的理论基础 14.4.1 Elman递归神经网络 14.4.2 循环神经网络的生物学机理 done 1
163 14.5 RNN的结构 done 1
164 14.6 循环神经网络的训练 14.6.1 问题建模 14.6.2 确定优化目标函数 14.6.3 参数求解 done 1
165 14.7 基于RNN的TensorFlow实战——正弦序列预测 14.7.1 生成数据 14.7.2 定义权值和偏置 14.7.3 前向传播 14.7.4 定义损失函数 14.7.5 参数训练与模型评估 done 1
166 14.8 本章小结 done 0
167 14.9 请你思考 done 0
168 参考资料 done 0
169 第15章 LSTM长短记,长序依赖可追忆 done 0
170 章首导语 done 0
171 15.1 遗忘是好事还是坏事 done 0
172 15.2 施密德胡伯是何人 done 1
173 15.3 为什么需要LSTM done 0
174 15.4 拆解LSTM 15.4.1 传统RNN的问题所在 15.4.2 改造的神经元 done 0
175 15.5 LSTM的前向计算 15.5.1 遗忘门 15.5.2 输入门 15.5.3 候选门 15.5.4 输出门 done 2
176 15.6 LSTM的训练流程 done 0
177 15.7 自然语言处理的一个假设 done 1
178 15.8 词向量表示方法 15.8.1 独热编码表示 15.8.2 分布式表示 15.8.3 词嵌入表示 done 1
179 15.9 自然语言处理的统计模型 15.9.1 NGram模型 15.9.2 基于神经网络的语言模型 15.9.3 基于循环神经网络的语言模型 15.9.4 LSTM语言模型的正则化 done 2
180 15.10 基于Penn Tree Bank的自然语言处理实战 15.10.1 下载及准备PTB数据集 15.10.2 导入基本包 15.10.3 定义相关的参数 15.10.4 语言模型的实现 15.10.5 训练并返回perplexity值 15.10.6 定义主函数并运行 15.10.7 运行结果 done 3
181 15.11 本章小结 done 0
182 15.12 请你思考 done 0
183 参考资料 done 0
184 第16章 卷积网络虽动人,胶囊网络更传“神” done 0
185 章首导语 done 0
186 16.1 从神经元到神经胶囊 done 0
187 16.2 卷积神经网络面临的挑战 done 0
188 16.3 神经胶囊的提出 done 1
189 16.4 神经胶囊理论初探 16.4.1 神经胶囊的生物学基础 16.4.2 神经胶囊网络的哲学基础 done 0
190 16.5 神经胶囊的实例化参数 done 0
191 16.6 神经胶囊的工作流程 16.6.1 神经胶囊向量的计算 16.6.2 动态路由的工作机理 16.6.3 判断多数字存在性的边缘损失函数 16.6.4 胶囊神经网络的结构 done 3
192 16.7 CapsNet的验证与实验 16.7.1 重构和预测效果 16.7.2 胶囊输出向量的维度表征意义 16.7.3 重叠图像的分割 done 1
193 16.8 神经胶囊网络的TensorFlow实现 16.8.1 导入基本包及读取数据集 16.8.2 图像输入 16.8.3 卷积层Conv1的实现 16.8.4 PrimaryCaps层的实现 16.8.5 全连接层 16.8.6 路由协议算法 16.8.7 估计实体出现的概率 16.8.8 损失函数的实现 16.8.9 额外设置 16.8.10 训练和评估 16.8.11 运行结果 done 0
194 16.9 本章小结 done 0
195 16.10 请你思考 done 0
196 16.11 深度学习美在何处 done 0
197 参考资料 done 0
198 后记 done 0

非正文排除

spine项 类型 排除理由
001 titlepage.xhtml 书名页 Calibre 生成的封面入口
002 OEBPS/Text/coverpage.xhtml 封面 仅封面图
003 OEBPS/Text/copyright.xhtml 版权 书籍身份与版权声明
004 OEBPS/Text/chapter1.xhtml 扉页 仅图像式扉页
005 OEBPS/Text/chapter2.xhtml 内容简介 出版社对章节安排的摘要
199 OEBPS/Text/chapter23.xhtml 索引 术语及页码检索

待关联术语

术语名 出现章节 一句话语境
SVM 013、018、117 浅层模型例子;第 10 章简述其核方法和历史应用。
Boosting 018 本节将其列为浅层学习示例。
逻辑回归 018 本节举例说明可无隐层。
VGGNet 017、155 表 1-1 的任务规模对照;第 13 章提议继续学习。
DeepVideo、GNMT 017 表 1-1 的视频与翻译任务规模对照。
EM 路由 195 章末仅提及用期望最大化改进胶囊路由,未展开算法。
LeNet 155 本章建议进一步学习的经典卷积架构。
ResNet 018、155 ImageNet 竞赛层数的历史例子及后续学习方向。

引用文献

标题 类型(书/论文/框架/源码项目) 出现章节 一句话语境
机器学习(Tom Mitchell) 书 008、013、021、109、119 自序推荐;第 1 章引用任务、性能、经验定义。
机器学习(周志华) 书 008、038、040、043、078、081、084、094、139、144、183、197 自序举作领域教材。
统计学习理论的本质 书 013、021 经验数据与函数估计的定义来源。
The Elements of Statistical Learning 书 013、021 学习数据模式和趋势的定义来源。
机器学习:从公理到算法 书 013、021、029、033、037、043 不同定义强调数据;第 3 章引用其无监督学习背景。
AI不可怕,就怕AI会画画 文章 014、021 四象限划分的参考。
统计学习方法 书 014、021、027、033、036、043 解释统计学习对象。
The End of Theory 文章 015、021 数据规模与科学方法的讨论。
深度学习的昨天、今天和明天 论文 015、021 大数据与大模型结合的看法。
End to End Learning for Self-Driving Cars 论文 017、021 摄像头到转向指令实例。
理想国 书 017、021 借洞穴比喻讲观测局限。
大数据改变世界 书 017、021 呈现数据编码观点。
从复杂性科学到大数据技术 论文 017、021 支持整体性与复杂性的讨论。
1200层神经网络夺冠ImageNet,深度学习越深越好? 文章 018、021 网络深度的历史案例。
A Logical Calculus of Ideas Immanent in Nervous Activity 论文 063、068 M-P 模型与逻辑神经元的原始论文。
形式语言与自动机导论 书 063、068 图灵机概念的参考资料。
Meet Walter Pitts, the Homeless Genius Who Revolutionized 文章 063、068 作者介绍 Pitts 生平的参考资料。
数学原理 书 063 书中作为逻辑主义背景提及。
语言的逻辑句法 书 063 书中人物故事中提及。
几何原本 书 063 书中讨论公理化推演时提及。
自我与本我 书 063 用于对照书中的精神模型论述。
Multilayer feedforward networks are universal approximators 论文 030、033、085、094 通用近似定理的引用。
A visual proof that neural nets can compute any function 文章 030、033、085、094 神经网络表达能力的可视化讲解。
Conversational speech transcription using contextdependent deep neural networks 论文 086、094 深度与宽度比较的语音实验。
Improving neural networks by preventing co-adaptation of feature detectors 论文 087、094 Dropout 的参考。
Analysis of Dropout Learning Regarded as Ensemble Learning 论文 088、094、183 从集成学习角度分析 dropout。
Learning representations by back-propagating errors 论文 090、094、098、109、115、119 反向传播历史与表示学习的论文。
熵:一种新的世界观 书 091、094 作者解释梯度弥散时引用,其类比不可直接替代数学推导。
A fast learning algorithm for deep belief nets 论文 091、094、097、109、115、119 深度信念网与逐层预训练的历史资料。
Backpropagation applied to handwritten zip code recognition 论文 119 手写邮编识别的反向传播历史研究。
Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences 论文 112、119 Werbos 论文及反向传播历史。
Calculus on Computational Graphs: Backpropagation 文章 114、119 计算图和链式求导的解释。
机器学习导论(Miroslav Kubat) 书 115、119 反向传播推导参考。
How to Implement the Backpropagation Algorithm From Scratch In Python 文章 116、119 BP 代码示例参考。
深入浅出深度学习 书 135、138、140、144、168、183 卷积定义、局部连接与池化的参考。
从脑认知到人工智能 文章 135、144 卷积生活类比的来源。
An Intuitive Explanation of Convolutional Neural Networks 文章 136、140、144 图像卷积和池化的参考。
Visualizing and understanding convolutional networks 论文 138、144 卷积层特征可视化的参考。
Rectified linear units improve restricted boltzmann machines 论文 139、144、153、156 ReLU 的参考。
Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification 论文 139、144 整流函数变体参考。
A Theoretical Analysis of Feature Pooling in Visual Recognition 论文 140、144 池化分析的参考。
Network in network 论文 143、144 全局平均池化的讨论来源。
Artificial intelligence pioneer says we need to start over 文章 197 书中引述的 Hinton 研究观点背景。
浅析 Hinton 最近提出的 Capsule 计划 文章 197 胶囊网络的历史解读。
Batch-normalized maxout network in network 论文 197 作者讨论胶囊表示时引用。
Dynamic routing between capsules 论文 186、191、192、193、194、197 胶囊网络与动态路由原论文。
Transforming auto-encoders 论文 188、197 早期胶囊与变换表征研究。
The minicolumn hypothesis in neuroscience 论文 189、197 皮层微柱的研究背景。
Reducing the dimensionality of data with neural networks 论文 192、197 深度自编码器与降维。
Capsule Networks Are Shaking up AI — Here’s How to Use Them 文章 187、197 书中 CNN 对比的资料。
Understanding Hinton’s Capsule Networks. Part I: Intuition 文章 188、197 胶囊概念解释。
Large scale distributed deep networks 论文 122、131 DistBelief 分布式深度网络的背景。
TensorFlow: A System for Large-Scale Machine Learning 论文 122、131 TensorFlow 系统来源。
Caffe: Convolutional architecture for fast feature embedding 论文 123、131 Caffe 的原始论文。
A scalable concurrent malloc implementation for FreeBSD 论文 124、131 源码构建依赖的内存分配器资料。
面向机器智能的TensorFlow实践 书 124、131 TensorFlow 构建与实践参考。
TensorFlow实战 书 127、131、153、155、156 Softmax 与经典网络实践参考。
MNIST For ML Beginners 文章 127、131 MNIST 示例的原始教程。
DyNet: The Dynamic Neural Network Toolkit 论文 128、131 动态计算框架示例。
Imagenet classification with deep convolutional neural networks 论文 151、153、156 AlexNet 与局部响应规范化。
What Is Local Response Normalization In Convolutional Neural Networks 文章 151、156 LRN 参数和背景解释。
Batch normalization: Accelerating deep network training by reducing internal covariate shift 论文 151、156 批规范化原始动机与算法。
什么是批标准化 (Batch Normalization) 文章 151、156 批规范化的图示解释。
Adam: A method for stochastic optimization 论文 152、156 Adam 优化器。
Digital selection and analogue amplification coexist in a cortex-inspired silicon circuit 论文 153、156 ReLU 历史背景。
Dropout: a simple way to prevent neural networks from overfitting 论文 149、156、183 Dropout 的原始论文。
技术的本质 书 130 作者提出框架演化问题时推荐。
计算机程序设计的艺术 书 125 作者介绍高德纳及文学化编程。
相对论(爱因斯坦) 书 125 高德纳著作地位的类比。
量子电动力学讲义 书 125 高德纳著作地位的类比。
Scikit-learn: Machine learning in Python 论文 46、52 科学计算及机器学习工具的来源。
Why Python 3 exists 文章 47、52 Python 3 的设计动机。
Python可以这样学(董付国) 书 49、52、55、59 Python 语法与代码参考;第 4 章写“这样学”,第 5 章写“这么学”,此处按作者合并登记。
实用机器学习(Henrik Brink 等) 书 59 机器学习实践参考。
机器学习之路—Caffe、Keras、scikit-learn实战 书 56、59 scikit-learn 近邻示例参考。
How To Implement Simple Linear Regression From Scratch With Python 文章 55、59 线性回归示例来源。
Tutorial To Implement k-Nearest Neighbors in Python From Scratch 文章 56、59 手写近邻分类示例来源。
Deep belief networks(Hinton) 文章 168 循环网络章节参考背景。
Neural networks and physical systems with emergent collective computational abilities 论文 161、168 Hopfield 网络原始论文。
神经网络七十年:回顾与展望 论文 81、161、168 Hopfield 网络历史。
Serial order: A parallel distributed processing approach 论文 161、168 Jordan 网络历史。
Finding structure in time 论文 161、168 Elman 网络来源。
Long Short-Term Memory 论文 161、168、172、176、183 LSTM 原始研究。
On the computational power of neural nets 论文 161、168 循环网络计算能力的理论结果。
A neural probabilistic language model 论文 161、164、168、179、183 神经语言模型。
Principles of connectivity among morphologically defined cell types in adult neocortex 论文 162、168 生物神经连接的类比背景。
How to build a Recurrent Neural Network in TensorFlow 文章 165、168 正弦 RNN 示例来源。
Fundamentals of Deep Learning – Introduction to Recurrent Neural Networks 文章 165、168 RNN 逐步演算参考。
Deep learning(LeCun、Bengio、Hinton) 论文 172、183 深度学习综述。
Generative adversarial nets 论文 172、183 GAN 历史背景。
Learning Factorial Codes by Predictability Minimization 论文 172、183 生成方法历史对照。
A Novel Connectionist System for Unconstrained Handwriting Recognition 论文 173、183 循环网络应用。
Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling 论文 175、183 门控循环单元比较。
Google’s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation 论文 173、183 神经机器翻译应用。
iOS 10: Siri now works in third-party apps, comes with extra AI features 文章 173、183 语音助手历史背景。
Understanding LSTM Networks 文章 175、176、183 LSTM 门控解释。
LSTM Forward and Backward Pass 文章 176、183 LSTM 前向与反向传播。
数学之美(吴军) 书 177、183 自然语言处理参考。
From frequency to meaning: Vector space models of semantics 论文 178、183 词语向量表示背景。
LSTM里Embedding Layer的作用是什么 文章 178、183 嵌入层解释。
Nonlinear dimensionality reduction by locally linear embedding 论文 178、183 嵌入与降维背景。
RNNLM-recurrent neural network language modeling toolkit 论文 179、183 循环神经语言模型工具。
Distributed Representations of Words and Phrases and their Compositionality 论文 179、183 词向量参考。
Efficient estimation of word representations in vector space 论文 179、183 词向量参考。
Recurrent neural network regularization 论文 179、180、183 循环网络正则化与 PTB 示例。
Deep Learning(Goodfellow 等) 书 183 深度学习教材。
Generating sequences with recurrent neural networks 论文 183 循环网络生成序列。
未来简史 书 24、27、33 数据主义与机器学习定义背景。
奇点临近 书 25、32、33 奇点预测及思考题。
Neural Networks and Deep Learning(Nielsen) 书 30、33 通用近似解释。
Can neural networks solve any problem? 文章 30、33 ReLU 近似示例。
Desmos 函数近似演示 源码项目 30、33 原书引用的函数绘图演示。
Data Mining: Concepts and Techniques 书 36、37、43 监督和非监督学习的背景。
Top 10 algorithms in data mining 论文 36、43 k 近邻的引用。
中庸之美 文章 39、43 作者文化类比的出处。
Mastering the game of Go without human knowledge 论文 40、43 AlphaGo Zero 的历史案例。
乡土中国 书 133、134、144 视觉与局部观察的类比。
Receptive fields and functional architecture of monkey striate cortex 论文 134、144 视觉皮层感受野研究背景。
Neocognitron: A self-organizing neural network model for a mechanism of visual pattern recognition 论文 134、144 卷积网络早期历史。
Handwritten digit recognition with a back-propagation network 论文 134、144 手写识别历史。
Gradient-based learning applied to document recognition 论文 119、134、144 LeNet 和文档识别。
How do computers see an image? 文章 136、144 图像表示背景。
The Cost of Cortical Computation 论文 139、144 生物计算能耗的历史讨论。
Convolutional deep belief networks on cifar-10 论文 138、144 CIFAR 数据与卷积实验参考。
深度学习(Goodfellow 等中译) 书 140、144 池化相关参考。
Inceptionism: Going Deeper into Neural Networks 文章 143、144 神经网络艺术示例。
How Artists Can Use Neural Networks to Make Art 文章 143、144 风格化图像示例。
Artificial intelligence: What Everyone Needs to Know 书 72、81 感知机及历史报道。
必然(凯文·凯利) 书 72、81 知化与技术趋势。
神经网络与深度学习(吴岸城) 书 81 感知机参考。
Perceptrons: An introduction to computational geometry 书 78、81 线性可分性及历史讨论。
改变:问题形成和解决的原则 书 78、81 对待未解决问题的讨论。
人工智能的下一个技术风口与商业风口 文章 78、81 作者对未来技术结合的引述。
人工智能(李开复、王咏刚) 书 84、94 神经网络历史叙述。
Deep Learning Godfather says machines learn like toddlers 文章 84、94 深度学习历史观点。
熵的社会学意义 文章 91、94 熵的社会类比。
有限与无限的游戏 书 93、94 作者引用的跨领域讨论。
智能时代(吴军) 书 97、109 优化与数据背景。
Parallel Distributed Processing, Volume 1 书 98、109 连接主义与反向传播背景。
Vector Calculus: Understanding the Gradient 文章 109 梯度的直观解释。
零基础入门深度学习(2): 线性单元和梯度下降 文章 109 线性单元与梯度下降资料。
How to Implement Linear Regression With Stochastic Gradient Descent From Scratch With Python 文章 106、109 随机梯度线性回归代码来源。
Hands-on ML: extra_capsnets.ipynb(Aurélien Géron) 源码项目 193 书中胶囊实现脚注注明的代码来源。
Hinton 团队 capsules 源码 源码项目 193 作者推荐的另一份胶囊实现,未验证当前链接。

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明

实践卡进度

序号 实践标题 实践方式 状态(pending/done) 关联章节 产出
001 追踪交叉验证的数据边界 实现深读 done 10 实践卡;已核验 scikit-learn 1.7.2 源码入口和初步映射,后续深读未执行。
002 用一页讲解检验学习 真实任务 done 后记、10 实践卡;已给出目标、步骤与核对标准,后续写作未执行。

实践候选筛选:done

未采用候选与原因:从零重写近邻、BP、LSTM 或胶囊网络与成熟实现深读目标重复且成本较高;历史 TensorFlow 1.x 安装步骤随版本变化,缺少当前真实任务;“改变数据规模比较性能”和艺术风格创作缺少用户指定的数据对象或目标,不编造可执行事实。后记的输出驱动学习采用当前书中反向传播讲解这一真实输入。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。