来源书籍

深度学习

Skill 版本:v24 210 张卡片

[美]Ian Goodfellow(伊恩·古德费洛), [加]Aaron Courville(亚伦·库维尔), [加]Yoshua Bengio(约书亚·本吉奥) · 人民邮电出版社 · 2017-07-19

全书导读

《深度学习》由 Ian Goodfellow、Yoshua Bengio 和 Aaron Courville 三位作者合著,是深度学习领域的奠基性教材。全书分为三个部分:第一部分铺垫数学工具与机器学习基础,第二部分系统讲解已经成熟的深度学习方法与技术,第三部分讨论 generates model、近似推断等前瞻方向。理解这本书的关键,是先抓住贯穿全书的中心线索——机器学习的核心不是把规则写进程序,而是让程序从数据中自动学到有用的表示。

传统做法把知识由人手工编码成规则,面对真实世界的复杂任务时寸步难行:人要描述的知识太多、太细,无法穷尽。深度学习的方案是用层层组合的表示来拆解复杂性:把输入逐级变换为越来越抽象的特征,让机器自己发现从像素到边缘、到形状、到对象,从词到句、到语义的映射。这一思想在[[深度学习的层次化概念方案]]与[[深度学习分解复杂表示]]中被正式提出,而[[表示与特征的关键作用]]、[[表示学习与自编码器]]则说明了为什么”学到的表示”往往比”手工设计的特征”更强。当一条表示中的变差因素彼此解耦时,下游任务会变得简单,这正是[[变差因素与解耦]]与[[理想表示对应潜在成因]]所强调的。

本书用”深度”这个词指称模型结构的层级数。怎么度量深度、深度为何带来表达力的指数级增益,可以分别看[[度量模型深度的两条路径]]和[[深度的指数增益]];把网络看作执行程序的视角见[[深度的程序执行视角]]。全书也梳理了这条思路的历史起伏——从早期的[[深度学习发展的历史浪潮]]到今天由算力、数据与算法共同推动的复兴。

阅读本书时请注意:它既是概念教材,又包含大量数学推导。每条推导都不是为形式而形式,而是在回答”为什么这样做有效”“这样做在什么条件下失效”。[[知识库硬编码的失败]]提醒我们放弃手工规则的执念,而[[机器学习算法的三要素定义]]、[[没有免费午餐定理]]则给出了后续一切讨论的边界条件。带着这些问题读下去,二十章会自然连成一条主线。

全书主线

全书围绕”如何让机器自动学到有用表示”展开,可以顺着四段脉络阅读。

第一段:数学与机器学习地基(第2–5章)。 深度学习的语言是线性代数、概率与数值计算。向量空间与矩阵运算让我们能批量表达数据,[[奇异值分解与伪逆]]、[[特征分解与对称矩阵]]是后续理解降维与因子模型的钥匙;概率论提供描述不确定性的框架,[[高斯分布为何常用]]、[[香农熵与KL散度]]贯穿始终——KL散度更是把”最大似然”和”模型拟合”统一起来。数值计算提醒我们理论与实际的距离:[[上溢下溢与softmax稳定]]、[[病态条件与误差放大]]解释为什么实现要对数值稳定保持警惕。第5章把这一切收束到机器学习的一般框架:[[机器学习算法的三要素定义]]、[[泛化误差与独立同分布假设]]、[[模型容量欠拟合与过拟合]]、[[偏差方差权衡与均方误差]]构成”学习的普遍规律”;[[最大似然与KL散度]]、[[MAP估计与权重衰减等价]]则建立了从概率视角看待训练目标的桥梁,[[随机梯度下降的核心机制]]是贯穿全书的计算引擎。

第二段:成熟的核心技术(第6–12章)。 第6章的前馈网络[[前馈网络的函数近似本质]]把模型看成函数逼近器,[[万能近似定理的表达力与局限]]与[[深度网络的指数级表达优势]]回答”为什么深”;训练靠[[反向传播的计算图与链式法则]],其动态规划本质见[[反向传播的动态规划本质]]。第7–8章处理”训练得好”的两大障碍:过拟合与优化困难。正则化一章从[[正则化的偏差方差交易]]出发,串起[[L2权重衰减的曲率缩放]]、[[Dropout的集成本质]]、[[对抗训练与对抗样本]]等手段;优化一章则直面[[病态曲率让学习变慢]]、[[高维鞍点比局部极小更常见]]、[[梯度消失与爆炸的成因]],给出[[动量与Nesterov加速]]、[[自适应学习率算法演进]]、[[批标准化重参数化]]等工程方案。第9章的卷积网络用[[卷积的稀疏交互机制]]与[[共享权重与平移等变]]把先验结构写进架构;第10章的循环网络用[[循环网络的参数共享]]与[[LSTM门控记忆机制]]处理序列与长期依赖。第11章把经验落成[[实践设计四步流程]],第12章展示这些原理在视觉、语音、自然语言与推荐中的巨大应用价值,[[注意力机制三组件]]与[[词嵌入与神经语言模型]]是其中的代表。

第三段:表示、生成与概率图模型(第13–16章)。 这几章从”判别”转向”理解数据的内在结构”。[[自编码器基本结构]]、[[去噪自编码器]]、[[稀疏自编码器]]展示如何无监督地学表示;[[表示决定任务难易]]、[[分布式表示及指数优势]]从理论上说明好表示的威力;第16章引入[[有向图的条件概率分解]]、[[无向模型的团因子分解]]、[[能量模型与配分函数归一化]],把此前零散的概率模型统一到图模型语言之下。

第四段:难处理分布下的推断与生成(第17–20章)。 当模型复杂到无法精确计算时,近似成为必需。[[蒙特卡罗估计的统计基础]]、[[马尔可夫链蒙特卡罗收敛]]、[[重要采样降低估计方差]]提供采样工具;[[正负相分解]]、[[对比散度与虚假模态]]处理难以计算的配分函数;[[证据下界与推断即优化]]、[[EM算法的坐标上升]]、[[变分自编码器的下界训练]]构成变分推断主线。全书在[[生成式对抗网络的博弈框架]]、[[自回归网络与NADE]]等生成模型中达到高潮,最后以[[生成模型的评估困境]]坦率地指出这一领域尚未解决的问题。

四段之间并非彼此孤立:第一段的概率语言在第二段变成训练目标,在第三段变成模型结构,在第四段变成推断方法。读懂这条线索,就读懂了整本书。

第1章 引言

本章为全书定调,回答’什么是深度学习、它为何重要’。开篇指出早期人工智能把形式化、抽象的任务(如下棋)迅速攻克,真正难点却是识别语音和人脸这类对人容易、难以形式化描述的任务。深度学习的层次化概念方案正是对这一难点的回应:让计算机从经验中学习,用层次化概念体系理解世界,每个概念由较简单概念定义,堆叠出’深’的图。与之对照,知识库硬编码的失败说明把世界知识用形式语言硬编码(如 Cyc)笨拙且失败,AI 必须具备自己获取知识的能力。

从经验提取模式的能力即机器学习。表示与特征的关键作用指出这类算法的性能高度依赖数据表示:特征如何定义决定成败,连阿拉伯数字与罗马数字下的算术难易都不同。当手工特征难以设计,表示学习与自编码器让算法自己发掘表示,自编码器用编码器—解码器重构输入并追求好的新表示;其深层目标可归结为变差因素与解耦——理清并分离解释数据的潜在变差因素,忽略无关因素。

深度学习如何做到?深度学习分解复杂表示以较简单表示表达复杂表示,把复杂映射拆成层层嵌套的简单映射(边→角与轮廓→对象部分→对象),多层感知机就是这种函数复合。深度的程序执行视角提供另一种理解:每层如同执行一组指令后的存储器状态,更深的网络能执行更多顺序指令,状态信息类似计数器或指针。至于’多深算深’,度量模型深度的两条路径指出可按计算图最长路径或概念图深度衡量,二者并不一致,深度没有单一正确值。

后半章转向历史与实践。1.1 节说明读者对象与全书三部分结构;1.2 节梳理深度学习发展的历史浪潮:从控制论、联结主义到2006年深度信念网络与贪婪逐层预训练的三次浪潮,以及数据量、模型规模、精度增长如何共同推动复兴。这些脉络为后续数学基础与算法章节作了铺垫。

原书依据 · 9 处

第2章 线性代数

本章为深度学习补齐必备的线性代数基础,从最基本的数组概念一路推进到矩阵分解,并以一个完整的机器学习算法收尾。开篇把数据按维度分为标量、向量、矩阵和张量:标量是单独的数,向量是一列有序的数,矩阵是二维数组,张量则是坐标超过两维的数组。全书用粗体区分向量与矩阵,用转置把行与列互换。在这些对象之上,矩阵的广播加法介绍了深度学习常用的简写——标量与矩阵、向量与矩阵相加时,低维对象被隐式复制到每一行,从而无须显式构造重复的矩阵。有了表示,2.2 节给出矩阵乘法、点积与线性方程组 Ax=b,但“能否求解”并不显然:可逆矩阵的判定把解的问题转化为列向量的生成子空间与线性无关性,结论是 A 必须方阵且列向量线性无关才可逆,并且逆矩阵多作理论用途,数值上并不推荐显式求逆。衡量向量大小靠范数与稀疏权衡:范数满足非负、齐次与三角不等式,L2 及其平方形式计算方便,L1 则因各处斜率相同而能区分零与很小的值,适合稀疏场景,矩阵大小则用 Frobenius 范数衡量。2.6 节补充的对角、对称与正交矩阵,都以结构换取计算效率。本章的高潮是矩阵分解:特征分解与对称矩阵借质因数分解的类比把方阵拆成特征向量与特征值,实对称矩阵可获得正交分解,由此判断奇异性、优化二次型;但特征分解要求方阵,奇异值分解与伪逆则把分解推广到一切实矩阵,并把求逆思想延伸到非方阵,为无解或多解的方程提供最小残差或最小范数的解。2.10、2.11 节的迹运算与行列式,以及 2.12 节的主成分分析,正是这些工具的练兵场——PCA 以最小化重构误差为目标,约束编码列正交且单位范数,最终把最优编码方向归结为特征向量问题,串起了范数、正交、迹与特征分解。下一章转向机器学习中同样无处不在的另一门基础学科:概率论。

原书依据 · 5 处

第3章 概率与信息论

第3章为深度学习奠定概率与信息论的语言基础。开篇不确定性的三种来源指出机器学习必须面对内在随机性、不完全观测与不完全建模三类不确定性,这解释了为何确定性的软件工程直觉在此失效。随后区分频率派与贝叶斯概率:前者对应可重复实验中的频率,后者是对独特命题的信任度,但二者服从同一套公理,概率因而可看作逻辑的扩展。基础概念部分,概率质量函数与密度函数说明离散变量用 PMF、连续变量用 PDF,并强调密度不等于概率;条件概率与贝叶斯规则把联合分布用链式法则拆解,引入独立与条件独立,并给出由 P(y|x) 反转到 P(x|y) 的贝叶斯规则。期望方差与协方差进一步刻画分布的集中与关联,关键点是零协方差不等于独立,书中用 x 与 sx 的反例澄清。分布与工具部分,高斯分布为何常用从中心极限定理与最大不确定性两条理由解释正态分布的默认地位,并扩展到精度参数、指数与 Laplace 分布、经验分布及高斯混合模型。香农熵与KL散度把信息论引入机器学习:熵量化分布内部的不确定性,KL 散度以不对称的方式衡量分布差异,交叉熵因与 KL 只差常数而成为分类损失的基础。最后结构化概率模型作为本章特别推荐的内容,把高维联合分布分解为低维因子的乘积,用有向图或无向图描述——图只是描述语言而非分布本身的属性。这一章与前后章紧密相连:概率分布的语言贯穿后续各章的模型构建,最大似然将在第5章展开,而结构化概率模型在第16、19章被深入讨论,信息论中的 KL 散度则是近似推断与生成模型的核心工具。

原书依据 · 8 处

第4章 数值计算

第4章为后续学习系统奠定数值与优化基础,核心线索是计算机只能近似实数所带来的连锁问题,以及如何在这些问题上做可靠的优化。4.1节从舍入误差出发:有限位模式无法精确表示无限实数,误差在复合运算中累积会使理论上可行的算法失效。上溢下溢与softmax稳定解释了两类极端舍入错误——接近零的数变零的下溢、大量级数变无穷的上溢——并以softmax为例给出减去输入最大值的稳定化技巧,以及log softmax必须单独实现的细节。4.2节的病态条件与误差放大把视角转向问题本身:条件数大意味着输入误差被放大,且这种敏感性是矩阵的固有属性,不能靠更精确的求逆消除。4.3节把优化确立为深度学习的通用语言:目标函数、导数与梯度、临界点、最速下降方向和学习率选择构成梯度下降与最速下降法的主体,同时强调实践中接受足够小的近似解而非严格全局最小。4.3.1节引入二阶工具:Hessian曲率与牛顿法说明曲率如何修正梯度下降的步长预测、特征值如何决定学习率量级与临界点类型,并权衡牛顿法在加速收敛与鞍点风险之间的两难;Lipschitz连续与凸优化提供有限保证,但深度学习问题大多难以纳入凸框架。4.4节的KKT条件与约束优化处理可行域限制:投影、参数化与广义Lagrangian三条路径,活跃约束与互补松弛性,以及KKT作为必要非充分条件的定位。4.5节以线性最小二乘收尾,示范梯度下降、牛顿法、伪逆最小范数解与范数约束下的λ调整,把前几节的概念落到具体算例。整章从数值表示到优化算法再到约束处理,逐步搭建起第5章及以后所需的数学工具。

原书依据 · 5 处

第5章 机器学习基础

本章是全书的机器学习基础,按“算法是什么—如何泛化—如何估计—有哪些典型算法—为何需要深度学习”展开。开篇用机器学习算法的三要素定义确立任务T、性能度量P、经验E的通用框架,并以线性回归的正规方程求解作为把四要素落地的范例;围绕经验E,监督与无监督学习之辨厘清了是否带标签y的分野及其模糊地带。5.2节转入泛化这一核心挑战:泛化误差与独立同分布假设说明为何须假设训练与测试同分布,模型容量欠拟合与过拟合用多项式例子揭示训练误差与泛化误差的U形关系;没有免费午餐定理则提醒没有通用最优算法、必须引入偏好,这正是正则化与权重衰减的出发点,而把偏好落到可控超参数上要靠超参数与验证集划分。5.4至5.6节是统计视角:偏差方差权衡与均方误差把容量之争化为偏差—方差的量化取舍;最大似然与KL散度回答“估计从何而来”,条件对数似然与MSE等价为常见损失提供依据;贝叶斯统计与频率派之别给出用全分布积分代替点估计的另一条路线,MAP估计与权重衰减等价搭起贝叶斯与正则化之间的桥。5.7、5.8节巡览典型算法:支持向量机与核技巧展示核方法如何高效学非线性模型,表示学习的三种标准概括无监督表示追求的三大方向。5.9、5.10节给出工程主线:随机梯度下降的核心机制以小批量估计梯度支撑大数据训练,并与数据、代价、优化、模型的通用配方相连。最后5.11节解释深度学习的动因:高维数据的维数灾难指出配置数指数增长使传统方法失效,流形学习与流形假设给出数据集中于低维流形的关键假设。全章层层推进,为后续各章铺垫。

原书依据 · 18 处

第6章 深度前馈网络

本章把前馈网络视为为统计泛化设计的函数近似机。前馈网络的函数近似本质说明它用复合函数把 x 单向映射到 y,无反馈连接,链长即深度,未受监督的中间层称隐藏层。深度学习的学习表示策略对比通用核、手工设计与学习 φ 三条路线,指出学习表示是唯一放弃凸性却兼顾通用性与先验的策略。

XOR 一例:XOR与特征空间变换展示线性模型在原始空间失败、经隐藏层特征变换后线性可分;隐藏层非线性激活的必要性解释若隐藏层也线性则整网仍线性,故须接 ReLU 这类激活。

6.2 节讲梯度学习。非凸损失下的梯度训练指出非线性使代价非凸,训练靠迭代梯度法且对初值敏感。最大似然自动给出代价函数说明最大似然导出交叉熵、用 log 抵消 exp 缓解饱和;均方与绝对误差的条件统计量用变分法得出 MSE 预测均值、MAE 预测中位数及梯度缺陷。输出单元:logit与sigmoid输出单元解释二值输出为何配最大似然而非 MSE;softmax输出与饱和竞争说明多类 softmax 配对数似然及数值稳定;混合密度网络与多峰回归用高斯混合处理一输入多峰的条件分布。

6.3 节:ReLU及其分段线性扩展强调越接近线性越好优化及 Leaky ReLU、PReLU、maxout;sigmoid隐藏单元的饱和困境回顾 sigmoid/tanh 因饱和被淘汰及 tanh 优势。

6.4 节:万能近似定理的表达力与局限给出表示能力保证,但能表示不等于能学到;深度网络的指数级表达优势说明深度带来指数级线性区域与组合先验,故深而窄常优于浅而宽。

6.5:反向传播的计算图与链式法则用计算图与 Jacobian 乘积描述梯度;反向传播的动态规划本质澄清它只是梯度算法,以表填充避免指数重复、成本降至 O(n);反向模式与前向模式微分把它纳入自动微分框架,对比两种模式并介绍高阶导数与 Hessian 向量积。6.6 节:交叉熵替代均方误差、分段线性单元替代 sigmoid 是性能提升关键。

原书依据 · 17 处

第7章 深度学习中的正则化

本章把第5章的偏差—方差框架落到深度模型上,核心主张是:正则化不是把模型调小,而是让大模型泛化。开篇把正则化定义为以降低泛化误差为目标的算法修改,并指出它本质是以偏差换方差的正则化的偏差方差交易;在图像、语音、文本等生成过程远在模型族之外的领域,最佳拟合往往是经过正则化的大模型。第一条主线是直接约束参数。L2权重衰减的曲率缩放说明惩罚沿Hessian主轴缩放权重,只保留对目标重要的方向;L1正则化与特征选择则因符号常数梯度而产生稀疏解,可用于特征选择,二者分别对应高斯与拉普拉斯先验。范数惩罚的约束诠释进一步把惩罚等价为可行域约束,并引出重投影与用正则化稳定欠定、求伪逆。第二条主线是用数据与噪声换取不变性。数据集增强与不变性通过类别不变的变换和输入噪声扩充样本;噪声鲁棒性与标签平滑把噪声打到权重、隐藏单元和输出目标上,鼓励平坦极小点、避免softmax追逐确切概率。利用未标注或多任务信号的有半监督与多任务学习,靠共享表示和参数获得更强统计强度。第三条主线是改训练过程或架构。提前终止的正则化机制把参数限制在初始点邻域,二次近似下与L2等价且能自动定正则化量。参数共享与卷积网络强迫参数相等,CNN跨位置共享权重正是典范;稀疏表示与激活稀疏则改为惩罚隐藏激活。集成视角下,模型平均与Bagging用误差独立性论证平均能降方差,而Dropout的集成本质用参数共享近似指数级Bagging并靠权重比例规则推断。最后,对抗训练与对抗样本把对抗样本归因于过度线性,用局部恒定先验提升鲁棒,还延伸到虚拟对抗样本的半监督学习。这些方法与后续各章交汇:卷积网络(第9章)落实参数共享,自编码器(第14章)估计流形切向量以支撑正切传播,批标准化与优化(第8章)则与噪声正则化相遇。下一章转向优化。

原书依据 · 13 处

第8章 深度模型中的优化

本章聚焦神经网络训练这一特定优化问题:寻找一组参数 θ 以降低代价函数 J。开篇先厘清训练优化与纯优化的根本差别——训练优化与纯优化之别指出机器学习是间接优化测试集性能度量 P,并因此发展出代理目标与提前终止等特化手段。经验风险与代理损失进一步说明用经验分布替代真实分布的 ERM 为何容易过拟合且受制于不可导的 0-1 损失,从而让位于负对数似然等代理损失。由于目标函数可分解为样本求和,小批量梯度估计的权衡比较了批量、随机与小批量方法,指出梯度估计回报低于线性、训练冗余使小批量划算,并强调打乱样本与批量大小对二阶方法的影响。 第 8.2 节系统梳理挑战。病态曲率让学习变慢解释 Hessian 病态如何迫使学习率收缩;局部极小值与权重对称指出多数局部极小源自权重空间对称性、代价相同,并非主要障碍;高维鞍点比局部极小更常见用特征值符号与抛硬币类比说明鞍点激增,以及它对牛顿法的威胁;梯度消失与爆炸的成因把悬崖、梯度截断与长期依赖统一到矩阵连乘的视角;局部与全局结构的弱对应则强调训练时间主要取决于轨迹长度,好的初始化比非局部更新更现实。 第 8.3 至 8.6 节是具体算法。SGD与学习率衰减说明采样噪声要求递减学习率;动量与Nesterov加速用物理类比解释速度与黏性阻力;参数初始化与破坏对称性给出破坏对称性、权重尺度与 Xavier 等启发式;自适应学习率算法演进串起 AdaGrad、RMSProp 与 Adam 的取舍;牛顿法与二阶近似讨论求逆负担与共轭梯度、BFGS/L-BFGS 的折衷。 第 8.7 节转向元算法。批标准化重参数化通过把标准化纳入计算图解决深层协调更新的难题;预训练与易优化模型设计总结预训练、课程学习与让模型本身易优化的设计哲学。整体来看,本章从训练为何不同于纯优化出发,经由难在何处,落到如何求解,并反复指向同一个主题:在局部更新信息有限的前提下,初始化与模型设计往往和优化算法本身同样重要。

原书依据 · 15 处

第9章 卷积网络

本章把卷积网络定位为专门处理网格结构数据的神经网络,系统介绍它提供的各种工具,而不涉及具体结构选择(那留到第11章)。 9.1 从激光传感器追踪飞船的例子讲起:对带噪观测按时间远近加权平均即为卷积,输入与核函数结合产生特征映射,离散化后变为有限求和;多维卷积可用核翻转换取交换律,但实践中库多实现不翻转的互相关,见卷积运算的本质。 9.2 归纳卷积有效的三大动机。核远小于输入带来稀疏交互,每个输出只连局部感受野,参数从 m×n 降为 k×n;参数共享让同一核作用于所有位置,进一步压缩存储并带来对平移的等变表示,见卷积的稀疏交互机制与共享权重与平移等变。 9.3 一个典型层含卷积、非线性、池化三级,池化用邻域统计量替代输出,带来局部平移不变与降采样,却牺牲精确定位,见池化与平移不变性。9.4 把卷积与池化理解为无限强先验,只在假设成立时有益,否则导致欠拟合,见无限强先验与欠拟合。 9.5 讨论变体:步幅降采样与零填充及 valid/same/full 边界(步幅卷积与零填充),局部连接层、平铺卷积与通道限制(局部连接与平铺卷积),以及反向传播所需的转置卷积(转置卷积与梯度传播)。 9.6、9.7 说明卷积可输出逐像素标注等结构化结果,并能处理可变尺寸输入,但前提是尺寸变化来自对同一事物观察量的不同,见结构化输出与变尺寸输入。9.8、9.9 给出加速与省训的办法:频域法与可分离卷积(卷积的高效实现算法)以及随机或无监督特征(无监督与随机特征)。 9.10 追溯神经科学根源,V1 的简单细胞、复杂细胞与层级不变性对应检测器、池化与祖母细胞,见卷积网络的神经科学基础。9.11 则总结其历史地位:作为首个成功的深度模型与商业应用(支票读取),它在 ImageNet 之后点燃商业热度,为整个深度学习传递了火炬。

原书依据 · 12 处

第10章 序列建模:循环和递归网络

本章把计算图扩展到含循环的情形,系统介绍序列建模的神经网络工具。开篇指出循环网络借助循环网络的参数共享,像卷积网络处理网格数据那样处理可变长度序列,并通过计算图展开与有损摘要把循环化为可复用的有向无环图,使隐藏状态成为过去的有损摘要。在基本架构上,RNN三种连接设计模式区分了隐藏循环、输出循环与单输出三类网络,其中图10.3的结构具有图灵机的计算能力;训练这些网络依赖BPTT与导师驱动训练,前者在展开图上反向传播梯度,后者用真实值反馈以解耦时间步。把RNN看作图模型时,RNN的有向图模型解释说明隐藏单元如何高效参数化全连接依赖,并以平稳性为前提。当预测需要未来信息,序列建模的双向RNN用向前与向后子网络同时捕捉过去与未来;面对可变长度输出,编码器-解码器序列到序列用编码器产生上下文、解码器生成结果,其固定上下文的瓶颈催生了注意力机制。结构上,树状递归神经网络把链推广为树以缩短依赖路径。核心难题是长期依赖的梯度困境:反复的Jacobian相乘导致梯度消失或爆炸。本章随后给出多条应对思路——回声状态网络与储层计算固定权重只学输出,渗漏单元与多时间尺度用跳跃连接与线性自连接营造多尺度,LSTM门控记忆机制以门控自环动态控制记忆与遗忘,梯度截断与信息流正则化从优化角度缓解爆炸。最后外显记忆与神经图灵机引入可寻址的记忆单元,让网络显式存储与检索事实。这些工具共同构成深度学习处理序列的完整箱体,并把话题转向第11章的实践方法论。

原书依据 · 14 处

第11章 实践方法论

本章把如何把深度学习用到实处系统化:掌握算法原理远远不够,真正决定成败的是一套可迭代的方法论。实践设计四步流程给出主干——先定目标、建基准、找瓶颈、做增量改动,街景地址转录贯穿全章作为实例。起点是度量,性能度量与目标设定强调误差度量要先于一切确定:准确率在代价不对称或罕见事件下会失真,需改用代价加权、精度与召回、PR曲线与覆盖等指标,并设定可达成且安全、有成本效益的目标值,而贝叶斯误差给出理论下限。有了目标,默认基准模型的选择主张尽快搭出端到端基准:按输入结构选全连接、卷积或循环网络,配合理默认优化器与温和正则化,相似任务可直接迁移模型或预训练特征。运行基准后用数据收集的决策判据判断下一步:先查训练集误差以定位欠拟合或过拟合,过拟合时收集更多数据常比换算法更有效,并用学习曲线在对数尺度估算所需数据量与成本。改进阶段大量工作落在超参数与有效容量:多数超参通过增减有效容量起作用,泛化误差呈U形,学习率因直接决定优化成败而最关键。超参可手动调也可自动搜索,网格搜索与随机搜索说明网格搜索指数级昂贵且浪费在无用维度,随机搜索以分布采样更高效地找到好超参,贝叶斯优化等基于模型的方法尚不够成熟。最后是模型调试的验证策略:当系统失灵,用可视化、极小数据集拟合、梯度数值比对与直方图监控来区分算法问题与实现错误。第11.6节的街景案例把上述步骤串起来——从设定98%精度与95%覆盖目标,到发现裁剪过紧后系统性扩大裁剪区域,再到加大模型调参,说明这套方法论能带来可复现的工程成功。

原书依据 · 7 处

第12章 应用

本章把深度学习从方法转向落地:先讨论支撑大规模应用的工程底座,再巡览视觉、语音、语言与其他商业场景,最后以需要更少监督的研究方向收尾。联结主义与规模红利指出智能来自大量单元的协同,规模扩张是精度提升的关键,因此实现技术成为前提。工程部分里,GPU并行与内存带宽说明渲染硬件为何恰好契合神经网络的并行与带宽需求;异步SGD与参数服务器解决多机训练中梯度下降的串行约束;模型压缩与知识迁移让训练一次的大模型以小模型形式服务终端用户;条件计算与级联推断则按输入动态剪枝,但也付出并行度下降的代价。视觉领域,对比度归一化的两类与数据增强与不变性分别处理亮暗变化与类别不变的合成样本。语音识别的语音识别的演进路线展示了从GMM-HMM到端到端RNN的产业替代。自然语言处理是篇幅最重的部分:n-gram与平滑回退奠定统计语言模型基础并暴露维数灾难,词嵌入与神经语言模型用分布式表示实现语义共享;为跨越高维输出瓶颈,分层Softmax降本与重要采样加速输出层分别沿树分解与采样两条思路提速;编码器-解码器翻译与注意力机制三组件把机器翻译推进到可变长度与可微对齐。其他应用中,协同过滤与冷启动刻画推荐系统的嵌入方法与新用户困境,而探索与开发权衡把推荐带入强化学习的反馈回路;关系嵌入与链接预测则把词嵌入推广到知识库事实。可见通用技术虽贯穿始终,但每个领域仍需特化策略,这正是本章反复强调的权衡。

原书依据 · 17 处

第13章 线性因子模型

本章讨论一类最简单的潜变量概率模型——线性因子模型,并借它引出构建生成模型所需的若干基本方法。统一框架见线性因子模型的生成框架:先抽取相互独立的解释性因子 h,再经线性解码器加噪声生成观测 x,不同成员只在噪声形式与先验 p(h) 上分道扬镳。

13.1 节把线性解码器纳入概率框架。因子分析假定 h 为单位方差高斯、噪声为对角高斯,潜变量因而专门捕获观测变量之间的依赖;概率PCA把噪声方差统一为标量 σ²,可用 EM 估计参数,并在 σ→0 时退化为普通PCA——细节见概率PCA与因子分析。这一节的共同点是偏爱高斯先验,以便得到闭式解。

13.2 节的独立成分分析ICA走了相反方向:它要求 p(h) 非高斯,因为高斯先验下 W 不可识别。ICA 要把混合信号分离成完全独立的潜在信号,典型用于脑电图中分离心、眼伪迹,也常用于学习稀疏特征;但多数变种并不定义 p(h),只是分析工具而非生成模型,其非线性推广包括 NICE 等。

13.3 节介绍慢特征分析(SFA),基于慢性原则:场景的重要属性随时间变化缓慢。它对线性提取器施加零均值、单位方差与去相关约束后闭式求解,可用二次基扩充堆叠成深度版本,在自然视频与动物导航神经元上有生物学合理性;但它同样不是生成模型,且慢度先验过强时会忽略高速运动对象的位置。

13.4 节的稀疏编码的非参数编码器用尖峰先验(Laplace、Student-t 等)促使编码稀疏,以优化算法代替参数化编码器,交替推断 h 与更新 W;优点是编码无泛化误差、作分类特征表现好,缺点是推断慢、难反传、生成样本差,因为因子先验会随机组合各个特征。

13.5 节给出PCA的流形解释:把高维高斯看作沿某些轴极窄的“薄饼”,PCA 就是把它对准低维线性流形;最优线性编解码器对应 W 的列成为协方差矩阵主特征向量生成的正交基,特征值为各方向方差,协方差秩为 d 时重构误差为零。这一几何视角把线性因子模型与第14章的自编码器直接连接起来:二者都是最简单、可解析的生成模型与表示学习模型,扩展后即成为更强大的深度概率模型与自编码器网络。

原书依据 · 4 处

第14章 自编码器

本章介绍自编码器——一种被训练来把输入复制到输出的神经网络,其核心价值不在于复制本身,而在于为完成复制而学到的内部表示。自编码器基本结构指出网络由编码器与解码器两部分组成,必须施加约束使其只能近似复制,否则只会学到无用的恒等函数;它还能推广为随机映射,也可用再循环算法训练。最直接的约束是缩小编码维度,欠完备自编码器与PCA说明这种瓶颈结构迫使模型捕捉最显著特征,在线性解码器与均方误差下与PCA等价,非线性版本则是PCA的推广,但容量过大仍会失效。

当编码维数不再受限时,正则自编码器通过损失函数中的附加惩罚鼓励稀疏、小导数与鲁棒性,从而在高容量甚至过完备的情况下仍学到有用信息。三条主要路线各有侧重:稀疏自编码器把稀疏惩罚解释为对潜变量先验的近似最大似然,使特征能够解释输入;去噪自编码器通过损坏输入并要求重构原数据,隐式学习数据分布,其重构向量还能估计得分;收缩自编码器直接惩罚编码器的Jacobian,抵抗微小扰动,可视为去噪的极限情形。

在表示能力与结构方面,深度自编码器借助深层编解码器获得更强的表达与压缩效率,实践中常用贪心预训练来堆叠浅层自编码器。更进一步,自编码器的流形学习揭示了这些方法的共性:重构与约束两种推动力彼此折衷,使表示只对数据流形的切向变化敏感。本章之外,随机编解码器把自编码器与变分自编码器等生成模型相连,预测稀疏分解体现了学习近似推断,而在应用上,降维与语义哈希尤为典型——低维二值编码让信息检索可以借助哈希表高效完成。

原书依据 · 8 处

第15章 表示学习

本章围绕一个核心问题展开:什么使一种表示比另一种更好,以及表示学习如何服务于深度学习。开篇用罗马数字除法与链表/红黑树的例子说明,同一任务在不同表示下难度可以天差地别,因此’好的表示让后续学习更容易’,这正是表示决定任务难易的要义。监督训练的前馈网络本身就在学表示——顶层线性分类器之前的各层把线性不可分的输入变得可分。

历史起点是贪心逐层无监督预训练:逐层用RBM、自编码器等无监督地训练,每层固定下层,再做监督精调,它曾是训练全连接深网的第一个成功方法。关于它何时有效,预训练的有效性条件指出关键在于标注少、未标注多,以及对词这类one-hot输入特别有用;实验还显示预训练把网络收敛到更小的函数区域、降低方差。

表示的价值体现在跨情景复用上。迁移学习与领域自适应用共享表示把P1的知识迁移到P2,领域自适应处理输入分布变化;其极端形式是一次学习与零次学习,靠表示空间已分离潜在类别和任务描述T实现零样本识别。本章后半给出理论解释。理想表示对应潜在成因提出表示的各维应对应生成数据的潜在原因,因y是x的成因,p(x)的结构有助于p(y|x),这也是半监督学习的依据;但显著性与对抗学习提醒我们,均方误差等固定标准会漏掉可识别的小目标,对抗训练能重新定义哪些因素值得表示。分布式表示及指数优势用k^n概念和O(n^d)区域的论证说明分布式表示以少量参数获得指数级区分能力,深度的指数增益进一步指出深层网络在表达某些函数时比浅层指数级地更省参数与样本。

最后,发现潜在原因的线索把平滑、因果、深度、流形、稀疏等正则化策略汇总起来,指出表示学习正是通过这些线索把前馈网络、自编码器与深度概率模型统一在同一框架下。

原书依据 · 10 处

第16章 深度学习中的结构化概率模型

本章把第3章简略介绍过的结构化概率模型展开为一套完整的建模语言:用图描述分布中随机变量间的直接相互作用,结点是变量、边是直接作用,由此把非结构化查表的指数灾难变成可控。非结构化建模的四重障碍先说明为什么必须放弃查表——k^n 个参数在内存、统计效率、推断与采样四方面都不可行;接力赛中的直接作用建模则用接力赛展示只需保留直接边就能表达全部依赖。16.2 节是本章主体:有向图的条件概率分解给出信念网络的链式分解与参数骤减,无向模型的团因子分解处理没有明确因果方向的对称作用,能量模型与配分函数归一化说明未归一化得分如何经配分函数化为概率、以及能量函数与专家之积的视角;分离与d-分离判定教我们从图读出条件独立,尤其注意 V-结构的相消解释;有向与无向的相互转换指出没有模型本质上属于某一类,道德化与三角化都有代价,因子图则消除表达模糊。16.3 的图模型的原始与吉布斯采样对比了有向模型的一次性拓扑采样与无向模型的迭代采样,16.4 补充了结构化建模把先验知识与学习推断分离的好处。16.5—16.6 的潜变量依赖学习与近似推断说明用潜变量替代结构学习、以及推断 #P-hard 带来的变分近似。最后 16.7 的深度学习的图模型风格与RBM点出本章落点:深度学习偏爱分布式表示、大量潜变量、矩阵化的整层连接与对未知量的容忍,几乎不用环状信念传播,RBM 正是这种风格的范例。这些概念为后续第17—20章的蒙特卡罗方法、配分函数、近似推断与深度生成模型提供了统一的描述语言。

原书依据 · 10 处

第17章 蒙特卡罗方法

本章把随机算法按结果是否精确分为 Las Vegas 与蒙特卡罗两类:前者总返回正确答案但耗时随机,后者用更多计算资源换取更小的随机误差,在固定资源下只能给出近似解。机器学习中许多精确解不可得,因此确定性近似与蒙特卡罗近似都很常见。

17.1 从“为什么采样”讲起:采样可低价近似大量项的求和或积分(如小批量子采样训练代价),可逼近配分函数对数梯度这类难解量,有时抽样本身就是目标。蒙特卡罗估计的统计基础把和或积分改写为分布下的期望,用样本均值近似;无偏性、大数定律与中心极限定理共同保证估计随样本增多而收敛、方差按 1/n 下降并可给出置信区间,前提是能直接从 p 采样。

17.2 当直接采样受限或方差过大,重要采样降低估计方差改从提议分布 q 抽样,任意 q 都保持期望正确但方差随 q 而变,最优 q* 正比于 |f|p,有偏版本可用未归一化密度,高维下却容易因 q 太简单而低估。

17.3 对无向能量模型这类既难直接采样又难找到好 q 的情形,马尔可夫链蒙特卡罗收敛构造以目标分布为平稳分布的链,借随机矩阵与 Perron-Frobenius 定理说明收敛,并引入磨合、混合时间与样本相关性等代价。

17.4 吉布斯采样与块更新给出构造转移算子的实用方法:按邻接点条件分布逐变量抽样,条件独立时成块更新,RBM 的隐藏与可见单元即可整体采样。

17.5 聚焦峰值间混合挑战:链常被能量障碍困在单一峰值,跨峰概率随障碍高度指数下降,潜变量表示还面临混合速度与重构互信息的矛盾。回火与深度辅助混合给出两条缓解路径——用 β 控制的回火转移与并行回火在高温探索、低温取样,以及用更均匀的单峰深层表示加快混合。尽管困难重重,面对无向模型的配分函数,蒙特卡罗仍是最主要工具(详见第 18 章)。

原书依据 · 6 处

第18章 直面配分函数

第18章直面一个核心障碍:无向概率模型的配分函数 Z(θ) 是未归一化概率对所有状态的求和或积分,通常无法计算,而最大似然的梯度又依赖它。18.1 节把这条梯度拆成 正负相分解——增大数据样本未归一化概率的正相,与降低模型样本概率、对应 log Z 的负相;能量函数视角下就是压低数据能量、抬高模型样本能量,这也是本章几乎所有方法的共同框架。18.2 节沿着蒙特卡罗路线近似负相:朴素 MCMC 每步都要磨合链,代价过高;对比散度与虚假模态 改用数据点初始化短链,便宜却会留下模型概率高、数据概率低的“虚假模态”;持续性对比散度 让链跨梯度步持续更新,能探索全部峰值、为深度模型提供隐单元初值,却带来高方差和对学习率的敏感。18.3 至 18.5 节转而绕开配分函数本身:伪似然估计 利用概率比率中 Z 的抵消,把联合似然换成条件概率之积,复杂度由指数降到线性,代价是丢失联合分布信息且不能与下界方法结合;得分匹配与比率匹配 则比较对数密度对输入的导数或取反前后的概率比率,同样让 Z 消失,但各有连续或二值数据的适用边界;去噪得分匹配再用噪声平滑经验分布,与自编码器训练相呼应。18.6 节的 噪声对比估计 把密度估计改造成区分模型与噪声的二分类问题,连 c=−log Z 一起估计,催生了自对比估计乃至生成对抗网络的思想。最后 18.7 节正面估计配分函数:简单重要采样在多峰高维分布上方差爆炸,退火重要采样 用一串中间分布搭桥,桥式采样与链接重要采样在不同距离情形下取长补短。本章与第16、17章的无向模型和 MCMC 相衔接,也为第19章近似推断和第20章深度生成模型埋下伏笔。

原书依据 · 7 处

第19章 近似推断

本章解决的核心问题是:含潜变量的概率模型为何难训练,以及如何在计算可控的前提下完成推断。开头指出,推断困难并非来自变量数量,而是来自结构化图模型中潜变量的耦合——无向模型的直接相连、有向模型中共享可见子节点造成的“相消解释”——使后验p(h|ν)难以计算,精确推断要指数时间;概率PCA则凭线性高斯且基正交的条件分布成为例外。对应难处理推断的根源。 19.1把推断改写成优化问题:当边缘化潜变量求对数似然太贵时,引入任意分布q构造证据下界,由KL非负保证它是下界,等号仅在q等于真实后验;推断于是变成最大化下界,近似可通过限制q或缩短优化实现。见证据下界与推断即优化。 19.2的EM是最大化下界的经典算法,严格说它学近似后验而非近似推断:E步令q为当前真实后验,M步固定q更新参数,构成坐标上升,随机梯度上升是其单步特例。见EM算法的坐标上升。 19.3把MAP纳入同一框架:取最可能的h相当于令q为Dirac分布,虽把点估计变成近似推断,却因微分熵负无穷使下界失效,补噪可缓解;稀疏编码即用MAP(Laplace先验与交替优化)学习。见MAP推断与稀疏编码。 19.4是本章重心——变分推断与变分学习:在受限q族上最大化下界,均值场令q完全因子化,结构化变分推断允许自选图结构;这里用KL(q‖p)而非反向KL,是为了让期望在简单q下可算。离散潜变量用不动点方程快速求参,该方程等价于执行推断的循环神经网络,相消解释造成的峰值竞争体现为单元间相互抑制;连续潜变量则需变分法,最大熵分布的高斯解即其范例。见均值场与结构化变分推断与变分法与最大熵分布。本节末提醒,学习会让真实后验朝近似假设靠拢,因此难以仅凭训练后的小差距断定变分近似普遍无害。 19.5走向学成近似推断:用神经网络直接把可见变量映射到近似后验,省去迭代开销;醒眠算法通过从模型采样解决无监督训练难题,但有只在模型高概率区域训练的局限,变分自编码器是其现代形态。见学成推断与醒眠算法。这些技巧将在第20章用于训练深度生成模型。

原书依据 · 7 处

第20章 深度生成模型

本章把第16至19章的概率建模工具落到具体生成模型上,按“无向的玻尔兹曼机家族—随机反向传播—有向生成网络—采样与评估”展开。开头两节建立无向基础:玻尔兹曼机的能量与潜变量说明能量函数经归一化给出分布,只有加入潜变量才能突破线性交互、成为离散分布的万能近似器;玻尔兹曼机的局部学习指出最大似然更新只依赖本单元对的统计量,正相Hebbian式的“共同激活即增强”虽有生物学吸引力也有局限。RBM二分结构通过禁止层内连接换来条件独立性,使条件分布因子化;RBM的对比散度训练据此用CD、SML等方法训练。随后是三种深层无向模型:DBN混合图结构顶部无向、其余有向,采样分顶部Gibbs与自上而下两阶段;DBN贪心逐层训练把RBM逐个堆叠,再做判别性精调。DBM二分结构与块采样完全无向却可用二分块更新高效采样;DBM均匀场推断用因子化近似捕获层间双向反馈;中心化DBM与MP-DBM分别用Hessian重参数化和推断网络反向传播解决联合训练。第五节处理实值数据:高斯伯努利RBM引入高斯可见单元并省略隐藏交叉项;实值数据的条件协方差建模比较mcRBM、mPoT与ssRBM对像素协方差的刻画。第九、十节转向可微生成网络:重参数化技巧把采样改写为对独立噪声的确定性变换以反向传播,REINFORCE与方差减小处理离散情形;变分自编码器的下界训练用编码器产生近似后验,生成式对抗网络的博弈框架用生成器与判别器对抗,生成矩匹配网络的MMD目标用核均值差异匹配分布,自回归网络与NADE则用链式分解避开潜变量。其余小节讨论采样来源与评价:去噪自编码器和GSN直接参数化生成马尔可夫链,扩散反演与近似贝叶斯计算提供别的采样路径;生成模型的评估困境强调指标必须匹配用途,视觉样本、似然与预处理各有陷阱。总体看,本章从能量模型走向可微生成器,核心矛盾始终是表达能力与可计算性之间的权衡。

原书依据 · 18 处

跨章综合

把二十章放在一起看,有几条横向线索反复出现,理解它们能把零散技术连成整体。

表示是贯穿全书的主旋律。 第1章的[[变差因素与解耦]]提出目标,第5章的[[表示学习的三种标准]]给出判据,第6章的[[深度学习的学习表示策略]]把它落到前馈网络,第15章的[[理想表示对应潜在成因]]与[[发现潜在原因的线索]]则回到哲学层面:好的表示应当解开数据中隐藏的因果因子。自编码器(第14章)、分布式表示(第15章)、词嵌入与神经语言模型(第12章)都是这条线上的具体实践。可以说,全书所有架构创新,本质上都在寻找更强的表示学习方式。

正则化与优化是一对张力。 第7章的正则化方法([[参数共享与卷积网络]]、[[Dropout的集成本质]]、[[提前终止的正则化机制]])与第8章的优化方法([[参数初始化与破坏对称性]]、[[自适应学习率算法演进]])看似对立——一个约束模型、一个驱动训练——实则在[[正则化的偏差方差交易]]和[[超参数与有效容量]]处交汇。卷积结构既是正则化(共享权重减少参数),也是优化(更少的自由度更易训练);[[批标准化重参数化]]同时改善梯度和泛化。这种”一个设计多重作用”的现象在全书反复出现。

概率视角统一了目标、结构与推断。 最大似然把训练目标写成概率([[条件对数似然与MSE等价]]),图模型把结构写成概率分解([[有向图的条件概率分解]]、[[无向模型的团因子分解]]),配分函数与近似推断则处理概率计算的可行性([[能量模型与配分函数归一化]]、[[证据下界与推断即优化]])。从第3章的[[结构化概率模型]]到第16章的图模型语言,再到第19章的[[均值场与结构化变分推断]],概率是贯穿始终的数学骨架。

深度带来表达优势,也带来训练难题。 [[深度网络的指数级表达优势]]说明了为什么要用深层结构,而[[梯度消失与爆炸的成因]]、[[长期依赖的梯度困境]]、[[预训练与易优化模型设计]]则记录了深度化付出的代价与应对策略。[[贪心逐层无监督预训练]]、[[渗漏单元与多时间尺度]]中的时间维度跳跃连接和[[重参数化技巧]],都是为了让深层网络真正可训练。

生成模型是全书的高潮与未竟之问。 从[[线性因子模型的生成框架]]到[[自编码器基本结构]],从[[玻尔兹曼机的能量与潜变量]]到[[变分自编码器的下界训练]]和[[生成式对抗网络的博弈框架]],作者逐步把读者带到”让机器自己生成数据”的前沿。但[[生成模型的评估困境]]提醒我们:能生成样本不等于真正学到了分布,如何评价生成模型仍是开放问题。这正是本书结尾留给读者的思考空间。

这些横向线索彼此交织:表示需要深度,深度需要优化与正则化,概率把它们统一,生成是它们的综合考验。沿着任一线索重读全书,都会有新的收获。

发散与实践

以下实践方向是读者延伸,基于本书知识设计,不代表作者主张,也未实际执行。它们把书中的概念转化为可检查的行动,帮助把”读懂”推进到”会用”。

实践一:可视化一张网络的损失曲面与梯度流。 选第8章的[[病态曲率让学习变慢]]与[[高维鞍点比局部极小更常见]]为理论依据,在二维参数子空间上采样一个小型网络的损失,画出等高线;再用[[动量与Nesterov加速]]和朴素 SGD 分别优化,对比轨迹。验证方式:能指认出病态曲率区域、说明动量为何加速,并记录两种优化器的收敛步数差异。产出是一份带图的实验笔记。

实践二:在真实数据上对比正则化手段。 取第7章的[[L2权重衰减的曲率缩放]]、[[Dropout的集成本质]]、[[数据集增强与不变性]],在一个小图像数据集上分别训练,记录训练集与验证集曲线。验证方式:用[[偏差方差权衡与均方误差]]的框架解释每种手段的效果差异。产出是一张对比表与结论段落。

实践三:从零实现一个变分自编码器。 依据[[重参数化技巧]]与[[变分自编码器的下界训练]],用熟悉框架写出编码器—解码器与 ELBO 损失,在 MNIST 上训练并采样。验证方式:损失下降、能生成可辨认的数字样本,并解释[[证据下界与推断即优化]]在其中的作用。产出是代码与若干采样图。

实践四:梳理一张”表示演进”思维导图。 以[[表示决定任务难易]]为中心,把[[表示学习与自编码器]]、[[词嵌入与神经语言模型]]、[[卷积的稀疏交互机制]]、[[分布式表示及指数优势]]等连成脉络,标注每类表示”解开了哪些变差因素”。验证方式:能对新任务判断该用哪种表示。产出是一张思维导图。

实践五:复现一个生成对抗训练并观察模式坍缩。 依[[生成式对抗网络的博弈框架]]搭建简易 GAN,训练中记录判别器与生成器损失,并观察是否出现生成样本多样性下降。结合[[生成模型的评估困境]]思考定量评价的困难。验证方式:能解释博弈平衡的含义,并至少给出一种缓解思路(参考[[对抗训练与对抗样本]])。产出是训练曲线与反思笔记。

这些计划由浅入深:前两个验证对训练动力学的理解,中间两个落到表示与生成模型的核心机制,最后一个直面开放问题。按[[实践设计四步流程]]的节奏(设定度量、建基准、排查、调参)推进,可把本书的理论知识转化为可迁移的工程能力。

生成进度与管理记录

《深度学习》阅读概览

  • 书名:深度学习
  • 作者:[美]Ian Goodfellow(伊恩·古德费洛)、[加]Aaron Courville(亚伦·库维尔)、[加]Yoshua Bengio(约书亚·本吉奥)
  • 出版社:人民邮电出版社,出版日期 2017-07-19
  • 执行模式:light
  • 建档 Skill 版本:v24
  • 建档进度:done
  • 优先级:P4
  • 评级:经典原理(高信息浓度 + 高稳定性:表示学习、反向传播、正则化与优化、卷积与循环网络、概率图模型、近似推断与生成模型等核心机制稳定可迁移;具体框架接口与算力条件按成书年代)
  • 内容形态:概念解析型(含大量数学推导,局部操作手册型片段)
  • 原书:books/20261105/深度学习 (伊恩·古德费洛 (Ian Goodfellow) etc.) .epub
  • 已读正文:第1—20章(20 个实质单元;版权声明、内容提要、作者简介、目录、参考文献、索引为非正文排除)
  • 整书笔记:_book_note.md(24 sections / 210 primary / 210 sources)
  • 阅读覆盖:_coverage.md
  • 知识卡:210 张(cards/),其中普通 198 / 结构图 8 / 操作参考 4
  • 实践卡:3 张(ideas/)
  • 实践候选筛选:done

章节进度追踪表

章节号 章节标题 状态 卡片数
01 第1章 引言 done 9
02 第2章 线性代数 done 5
03 第3章 概率与信息论 done 8
04 第4章 数值计算 done 5
05 第5章 机器学习基础 done 18
06 第6章 深度前馈网络 done 17
07 第7章 深度学习中的正则化 done 13
08 第8章 深度模型中的优化 done 15
09 第9章 卷积网络 done 12
10 第10章 序列建模:循环和递归网络 done 14
11 第11章 实践方法论 done 7
12 第12章 应用 done 17
13 第13章 线性因子模型 done 4
14 第14章 自编码器 done 8
15 第15章 表示学习 done 10
16 第16章 深度学习中的结构化概率模型 done 10
17 第17章 蒙特卡罗方法 done 6
18 第18章 直面配分函数 done 7
19 第19章 近似推断 done 7
20 第20章 深度生成模型 done 18

非正文排除

spine项 类型 排除理由
titlepage.xhtml 书名页 无正文
text/part0000_split_000.html(前段) 版权/内容提要/作者简介/目录 出版信息与目录,无实质讲解;本章正文自”第1章 引言”起
text/part0008.html 参考文献 文献列表,无实质讲解
text/part0009.html 索引 词项索引,无实质讲解

待关联术语

术语名 出现章节 一句话语境
(无) — 全书提名术语均已在正文卡片中给出实质解释,无需另登记

引用文献

| 标题 | 类型 | 出现章节 | 一句话语境 | | — | — | — | | (无) | — | — | 参考文献列表已整体排除;正文中的算法与论文引用均给出实质讲解并成卡 |

资金安全问题案例

问题标题 问题卡 解决方案卡 出现章节 一句话说明
(无) — — — 本书为深度学习教材,不涉及资金安全场景

实践卡进度

序号 实践标题 实践方式 状态 关联章节 产出
001 损失曲面与梯度流可视化 实现深读 done 第4/8章 ideas/idea-001-loss-surface.md(计划交付)
002 正则化手段对比实验 实现深读 done 第7章 ideas/idea-002-regularization-compare.md(计划交付)
003 从零实现变分自编码器 实现深读 done 第19/20章 ideas/idea-003-vae-from-scratch.md(计划交付)

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。