此笔记位置已失效,请从目录继续阅读。
全书导读
这本书试图让初学者理解机器学习系统为什么能从数据中形成预测,以及使用者如何判断结果是否可信。作者主要依靠图、比喻和示例而非完整推导:前半部分从随机性、概率、数据准备和简单模型建立语言,后半部分再把神经元组合成深度网络,并展示图像、序列、生成与决策任务。
读本书时应把三件事分开:模型能表示什么,训练算法怎样调整它,以及测试能说明什么。书中的库代码和部分数据集说明属于出版时的版本,运行时应核对当前文档。下文在原书存在明确错误或过度概括处注明边界;涉及独立验证的内容仍以相应卡片中的证据为准。
全书主线
作者先用统计和概率说明如何描述不确定数据,再用信息论、分类和训练测试说明如何从有限样本中建立并检验预测。过拟合把这两部分联系起来:模型对训练数据拟合得很好,仍可能无法处理新的样本,因此要认真设计划分、预处理和验证。
接下来,神经元的加权计算与非线性激活形成网络的基本单元;前馈图描述这些计算的依赖关系,反向传播计算损失对参数的梯度,优化器根据梯度更新参数。卷积利用空间局部性和共享权重,循环网络通过状态处理序列;它们解决不同数据结构的问题,而不是训练流程的必然先后步骤。
最后,自编码器学习重建和潜在表示,强化学习从行动后的奖励学习策略,生成对抗网络通过生成器与判别器的竞争学习生成分布。创造性应用展示特征可视化和风格迁移,数据集章节提醒读者:所有模型的用途和边界最终都与数据来源、评价方法和实际场景相连。
spine-006 内 容 提 要
本书以图示和例子介绍机器学习与深度学习:先建立统计、概率、训练和神经元等基础,再讨论常用库、网络架构和应用。它面向希望理解并实践这些方法的入门读者。
spine-007 译 者 序
译者说明本书介于理论推导与库使用手册之间,注重用图和类比建立基础,再进入具体应用。译者也交代了翻译、交叉校验及审校过程。
spine-008 前 言
作者先介绍写作目的、读者范围与上下册安排,再致谢并列出供深入学习的参考资料。
spine-009 前 言
作者希望读者能设计网络、处理与分类数据、预测序列并阅读新研究。全书以直观图示为主,用少量代码说明典型工作流。
spine-010 前 言
免费库降低了运行算法的门槛,但选错方法、数据或评估方式仍会得到没有意义的结果。作者希望读者理解足够多的结构和术语,能够作出选择、诊断问题并继续学习,而不是依赖特定库的调用范例。
spine-011 前 言
作者有意减少数学推导,以概念与图示解释原理和实践;若要修改算法、研究理论或自行实现,还需要借助参考资料补足数学细节。直观比喻有助于入门,但不能替代对公式适用条件的检查。
spine-012 前 言
全书分上下两册,后册扩展前册的基础;作者建议按顺序阅读,已有基础的读者也可从下册切入。
spine-020 第1章 机器学习与深度学习入门
本章为全书介绍机器学习、监督与无监督学习、强化学习及深度网络所需的基本词汇。
spine-021 第1章 机器学习与深度学习入门
这里的“含义”由任务决定:同样是一张照片,可能需要读出邮编、找出人脸或判断身份。规则系统必须预先描述例外;数据驱动方法把部分判断交给训练过程,同时把问题转移到样本、表示和评估上。
机器学习是一组从数据中提取有用信息的算法和方法。数据不只包括表格数字,也可以是图像、声音或文本;“有用”取决于任务,例如识别信封中的邮编或预测数量的变化。深度学习是使用多层计算结构的一类机器学习方法,而非某一个固定算法。 机器学习从数据提取信息
规则系统依靠人事先表达判断规则;例如用横线和斜线识别手写数字 7,却可能漏掉中间多一横的写法。特征学习则让模型从数据中学习哪些特征有助于任务,减少逐条手写规则的负担;但系统通常需要大量训练数据,不能因此保证对所有变化都正确。 规则系统与特征学习
原书依据 · 2 处
spine-022 第1章 机器学习与深度学习入门
监督训练形成一个闭环:从带标签的样本取出特征,计算预测,再用损失指导参数更新。模型对训练样本表现好并不证明它能处理新样本;书中建议反复查看“测试集”后继续训练,这组数据实际上参与了模型选择,应称验证集,最终测试集应留到选择结束后使用。容量、步幅与数据质量共同影响学习,不能只靠增加训练次数保证泛化。
样本是一条观测记录;特征是描述它的测量项及对应值,标签是希望模型预测的目标。例如天气记录可用温度和风速作特征,用人工给出的徒步适宜度作标签。 样本特征和标签
学习率控制参数更新的步幅。步幅过小可能使学习缓慢;过大可能越过合适的位置或损害已有预测。训练时可按计划调整学习率,例如先大后小;合适的值依赖算法和数据。 学习率控制更新步幅
泛化是将训练中学到的规律应用到未见样本的能力。只记住训练样本的标签也可能在训练集上得高分,却无法为新样本提供可靠预测。应以独立数据估计新样本表现;若反复依据某组数据调整训练,它起验证集作用,最终测试集应另行保留。 泛化需要未见数据
参数是模型训练过程中调整的值,例如连接权重;超参数控制学习过程或模型配置,例如学习率,通常由训练流程设定或调节。两者的区别在于它们在当前训练过程中的作用。 参数与超参数
监督学习先依据样本特征产生预测,再比较预测和标签;损失用数值表示预测的偏差。训练算法利用误差调整模型参数,以改善后续预测。一次调整也可能影响其他样本,因此需要控制步幅并观察整体效果。 损失引导模型更新
模型容量描述模型能够表达和学习的关系的范围。容量不足可能无法表达数据中的关系;更大模型能表示更丰富的关系,但通常消耗更多计算时间和内存。容量并不保证结果更好,仍须用数据检验。 模型容量与资源代价
spine-023 第1章 机器学习与深度学习入门
两种任务的差异首先在目标:分类选择类别,回归输出连续数值。门票人数例子也提醒我们区分补估已有日期与预测未来日期:二者都用拟合结果,但未来数据可能改变,不能单凭训练拟合推断预测可靠。
监督学习使用带标签的样本训练模型,标签为预测提供对照。分类从已知类别中选择标签,回归预测数值;二者都需要明确目标及可用于预测的输入特征。 监督学习与标签
分类器通常从训练时指定的类别中选择预测结果。输入属于未见类别时,它仍可能给出某个已知类别,因而标签本身不能证明输入确实属于该类;面对新类别需要考虑数据与系统设计。 分类器的已知类别边界
回归根据输入预测数值,例如根据日期估计某场音乐会的到场人数。它既可估计已有观测之间的缺失值,也可预测新的输入;更复杂的拟合可能需要更多数据和计算。 回归预测数值
spine-024 第1章 机器学习与深度学习入门
没有标签时,系统仍可寻找输入本身的结构:相似纹样可形成簇,冗余测量可用更紧凑的表示代替。简化是否可接受取决于任务;例如只保留道路上的前后位置会丢失车道信息。书中把降噪作为无监督例子,但具体降噪方法也可能使用成对的带噪与干净样本进行监督训练。
聚类在没有预先提供类别标签时,按照样本的相似性把样本分组。例如把古陶器上的相似纹样放在一起,以便后续研究。得到的分组需要结合任务解释,不能自动等同于真实来源。 聚类发现相似样本
降噪试图减少样本中的干扰,使真正关心的信息更容易被识别。例如减少图像中的随机噪点;缺失值也可用适当方法估计,但恢复结果不必然等于原始值。 降噪减少数据失真
降维用更少的变量表示样本,以减少冗余或无关信息和计算量。例如单车道车辆的位置可用沿道路的距离表示。简化可能丢失任务所需的细节,应根据可接受的误差选择表示。 降维压缩数据表示
spine-025 第1章 机器学习与深度学习入门
生成任务关注样本本身的分布:生成结果既要与参考样本有共同结构,也应允许差异;外观逼真不等于覆盖了所有类型,更不能证明训练过程一定属于半监督学习。
生成器学习已有样本的特征,产生与之相似而不完全相同的新样本。例如用若干地毯作为样本,生成风格相似但图案不同的地毯。原书在本节把这类过程与半监督学习相联系;但仅有反馈不足以判定为半监督;常见定义涉及同时使用有标签与无标签数据,参见 半监督学习理论综述。 生成器产生新样本
原书依据 · 1 处
spine-026 第1章 机器学习与深度学习入门
这一设置的学习信号来自行动后的结果,因此单次反馈一般不会直接告诉系统在当前状态下哪个动作最优;后文折扣回报和价值函数进一步解释怎样把连续反馈用于决策。
强化学习中,智能体在环境中选择行动,环境发生变化并提供奖励信号;智能体利用反馈改进后续行为。奖励衡量行为结果,而不是为每个状态直接给出正确动作的标签。 强化学习的行动与反馈
原书依据 · 1 处
spine-027 第1章 机器学习与深度学习入门
把层堆起来只建立了计算路径;选用什么变换、能否训练以及结果在新数据上是否有效仍需独立判断。书中 MNIST 数字是特定实验的观察,不能当作所有数据集或模型的性能保证。
深度网络由多层计算组成,一层的输出成为后续层的输入。层的类型与参数决定信息如何变换;库能简化搭建,但仍需选择合适结构并检验训练效果。 深度网络的层级计算
GPU 原为图形计算设计,能够同时执行大量计算。深度网络训练中的许多运算适合并行,因此可以利用 GPU 加速;实际速度仍取决于模型、数据、实现和硬件。 GPU并行加速训练
原书依据 · 2 处
spine-028 第1章 机器学习与深度学习入门
这是一条从基础概念到实验工具的路线:先理解数据和学习信号,再比较架构,最后借库代码把概念落到训练和评估流程。
后续章节先讲统计、概率和信息论等基础,再讨论学习机制与深度网络,并用 scikit-learn 和 Keras 的示例连接概念与实践。
spine-029 第1章 机器学习与深度学习入门
本章参考资料涵盖机器学习、深度学习、强化学习和图像识别等文献,完整登记见概览。
spine-030 第2章 随机性与基础统计学
本章以图示介绍随机现象、数据分布及描述统计,为后续概率分析建立基础。
spine-031 第2章 随机性与基础统计学
统计描述帮助我们先问数据的分布、异常和变量间关系,再选择模型;它提供决策依据,但不以某个汇总数字替代对数据的检查。
本章先解释随机现象与统计汇总,为后续概率、数据分布和模型评估建立语言。统计摘要描述样本的方式会影响我们对数据的判断。
spine-032 第2章 随机性与基础统计学
离散分布把概率分配给可数结果;连续密度的单点高度不是该点概率,区间下面积才给出区间概率。随机变量是把随机结果映射为数值的函数,抽样器依据分布产生实现值;书中把随机变量说成“输入分布、输出抽样值”只是程序直觉。种子有助于复现,但环境和并行执行也可能影响结果。
均值是数值总和除以个数;中位数是排序后的中间值,偶数项时取中间两项均值;众数是出现最频繁的值。例如 1、3、4、4、13 的均值为 5,中位数和众数为 4。它们从不同角度概括中心位置。 均值中位数和众数
离散概率分布为各可能结果分配概率;在列出互斥且穷尽的结果时,各概率之和为 1。若停车场中每辆车等可能被选中,某车型概率等于该车型数量除以车辆总数。 离散概率分布
连续变量的概率密度曲线用曲线下的面积表达区间概率,整个取值范围下的面积为 1。密度的高度本身不是某个精确数值出现的概率,因此不能像离散概率那样直接相加。 概率密度与区间概率
伪随机数生成器按确定性规则产生看似随机的序列。相同算法、种子和调用条件下通常可重现序列,因此固定种子有助于调试和实验复现;固定序列不代表不可预测或适合安全用途。 伪随机种子与复现
随机变量把随机试验的结果映射为数值。例如掷一枚硬币,可把正面记作 1、反面记作 0;概率分布描述这些值如何出现。程序中的抽样器则根据指定分布生成一次取值,是实现抽样的过程。原书以“输入分布、输出一个值”介绍随机变量,这有助理解抽样,但不应与数学上的映射定义混同;参见 宾州州立大学概率课程(2026-11-21 核验)。 随机变量与抽样
spine-033 第2章 随机性与基础统计学
比较分布时,应同时看取值范围、概率如何分配以及描述参数。正态分布的 68–95–99.7 规则依赖正态假设,不能直接推广到任意数据;类别分布描述单次互斥选择,独热编码是结果的一种表示方式。期望是理论加权平均,有限样本均值只是估计。
连续均匀分布在给定区间内具有恒定的概率密度,区间外密度为零。等长子区间的概率相等;单个精确值的概率为零,不能把密度高度当作单点概率。区间越宽,归一化后的密度越低。 连续均匀分布
正态分布呈对称钟形,由均值和标准差确定:均值决定中心,标准差决定分布伸展的尺度。标准差越大,曲线越宽、峰值越低,曲线下总面积仍为 1;方差是标准差的平方。 正态分布的位置与尺度
对正态分布,落在均值上下 1、2、3 个标准差内的概率分别约为 68%、95%、99.7%。这些比例是正态分布的性质,不是任何数据集都满足的通用规律;有限样本比例也不必恰好相等。 正态分布的三个区间
伯努利分布描述一次只有两种结果的试验,常以 1 表示成功、0 表示失败。若取 1 的概率为 p,取 0 的概率为 1−p,其期望为 p;硬币正反面可用这一模型表达。 伯努利分布
类别分布描述一次从多个互斥类别中选择一个结果,各类别概率之和为 1。可用独热向量表示选中结果:例如五类中选第四类,记为 (0,0,0,1,0)。这与统计多次试验中各类出现次数的多项分布应予区分。 类别分布与独热表示
理论期望是随机变量取值按概率加权的平均;样本均值是实际抽到的数据的算术平均,可用于估计期望,但有限样本通常不完全相同。等概率取 1、3、5、7 时期望是 4,即使 4 不是可能的抽样结果。 理论期望与样本均值
spine-034 第2章 随机性与基础统计学
独立意味着联合分布可以按各自分布分解;同分布意味着单个变量遵循同一分布。前者不由“线性不相关”自动保证,而时间序列等数据可能不满足独立性。
独立性表示一个随机变量的取值不改变另一个变量的概率分布;同分布表示变量具有相同的概率分布。独立同分布同时要求二者,不能仅凭同分布推断独立,也不能把统计独立与回归中的自变量混同。 独立性与同分布
原书依据 · 1 处
spine-035 第2章 随机性与基础统计学
是否放回决定同一个对象能否被重复选中。书中独立性的结论还隐含每次按固定概率独立抽取;仅把对象放回不足以保证抽样机制本身独立。
有放回抽样每次把选中的元素放回,因而可能重复选中同一元素;无放回抽样移除已选元素,不能重复选中同一元素。简单随机抽样下,放回使每次选取概率保持相同,无放回则随剩余集合变化。 有放回与无放回抽样
原书依据 · 1 处
spine-036 第2章 随机性与基础统计学
Bootstrap 从已有样本反复有放回重采样,以近似估计量的抽样波动;它不能消除原始样本的选择偏差。常规非参数 bootstrap 通常使用与原样本相同的重采样量,重复次数增加只能减少模拟误差,不保证分布变成正态,也不能修正不合适的重采样大小。频率置信水平描述方法的长期覆盖率。
总体是研究关注的全部对象,样本是从总体中取得的一部分。可以用样本均值估计总体均值,但不同样本会得到不同结果;样本的选取方式和代表性影响估计能否推广。 总体样本与估计
非参数 bootstrap 从已有样本中反复有放回抽取,通常每次抽取与原样本相同数量的数据;每次计算目标统计量,再用这些结果近似统计量的抽样分布。它不能凭空补回原样本没有代表的信息;抽样依赖和样本选择偏差需另外处理。常规同样本量做法参见 Penn State 课程(2026-11-21 核验)。 Bootstrap估计不确定性
频率学派的 95% 置信区间指构造方法在相同条件下反复抽样时,约 95% 的区间覆盖固定的总体参数。对已经算出的具体区间,参数要么在其中,要么不在其中;95% 描述方法的长期覆盖率,且依赖方法假设。参见 NIST 统计手册(2026-11-21 核验)。 置信区间的重复抽样含义
spine-037 第2章 随机性与基础统计学
每个像素值可以看作一个坐标,整幅图像因此是高维空间中的一个点。计算机无需把空间画出来也能处理向量;但维度增加仍会影响计算、样本需求和距离的解释。
一条包含多个数值特征的数据可看作空间中的一个点,每个坐标对应一个特征。例如 500×500 灰度图像可表示为 25 万个像素值组成的向量。维度增加虽不改变坐标的基本含义,却可能增加计算和统计困难。 特征向量与高维空间
原书依据 · 1 处
spine-038 第2章 随机性与基础统计学
协方差受测量单位影响,皮尔逊相关系数以标准差归一化后衡量线性关联。相关系数为零不排除曲线关系,相关也不证明因果;原文把非完全相关都称为非线性并不正确。偏相关还须说明控制了哪些其他变量。
协方差衡量两个变量相对各自均值共同变化的方向:正值表示同向偏离倾向,负值表示反向偏离倾向。它的数值受单位和尺度影响,不能仅凭大小比较不同量纲的关系;为零也不排除非线性关联。 协方差描述共同变化
皮尔逊相关系数将协方差按两个变量的标准差标准化,范围为 −1 到 1。接近正负 1 表示强线性关系;接近 0 只说明线性关联弱,仍可能存在非线性关系。相关不证明因果,且数据点不必完全落在直线上才具有线性关联。 相关系数衡量线性关联
原书依据 · 2 处
spine-039 第2章 随机性与基础统计学
相近的均值、相关系数和回归线可能掩盖非线性或由极端点主导的拟合。先看散点图,再判断统计模型与数据结构是否相符。
不同数据集可能有相近的均值、方差、相关系数和拟合直线,却具有不同的形状或异常点。Anscombe 四重奏展示了这一点:分析时应结合散点图等可视化检查数据结构,不能只依赖汇总数值。 汇总统计不能替代看图
原书依据 · 1 处
spine-040 第2章 随机性与基础统计学
本章参考资料分别供深入理解随机数、bootstrap、高维空间及统计可视化;各条目和类型见概览。
spine-041 第3章 概率
本章从飞镖和面积出发,介绍概率、条件概率及测试结果的解释。
spine-042 第3章 概率
书中以概率表达事件可能性并引入分类评价。严格说,连续模型中概率为零的单点事件仍可能发生;概率一也不总等同逻辑必然。
概率用于描述事件的不确定性,也帮助解释分类测试的结果。本章从简单几何模型出发,逐步引入条件概率和测试指标。
spine-043 第3章 概率
面积比的解释依赖均匀落点这一模型假设;如果投掷更集中于墙的中央,就不能直接用面积比作为概率。
作者用飞镖落在墙上不同区域的面积来说明概率:如果落点在墙面上均匀分布,落入区域的概率等于区域面积与墙面总面积之比。这是教学假设;现实投掷往往集中在瞄准区域,不能直接套用面积比例。
spine-044 第3章 概率
P(A) 表示模型下事件 A 的概率;在均匀墙面模型中可用事件区域面积除以墙面积计算。
用 A 表示某个事件,P(A) 表示它发生的概率。在均匀飞镖模型中,事件对应的图形区域越大,概率越高;这种面积解释依赖均匀落点,而不是任何概率问题都能直接用面积相除。
spine-045 第3章 概率
给定 B 且 P(B)>0 时,P(A|B)=P(A∩B)/P(B)。把条件从 B 换成 A 会改变参考范围,因此 P(A|B) 通常不能与 P(B|A) 互换。
条件概率 P(A|B) 表示已知 B 发生时 A 发生的概率;当 P(B)>0 时,它等于 P(A∩B)/P(B)。例如 66 次落在 B 的试验中有 23 次也落在 A,可用 23⁄66 估计该条件概率。P(B|A) 使用 A 作为分母,一般与 P(A|B) 不同,但在某些条件下也可能相等。 条件概率改变参考范围
原书依据 · 1 处
spine-046 第3章 概率
联合概率是两个事件同时发生的概率。可以先求 B 的概率,再乘以已知 B 时 A 的条件概率;先求 A 再乘另一方向的条件概率也得到同一交集。
联合概率 P(A∩B) 描述 A 与 B 同时发生的概率。当 P(B)>0 时,P(A∩B)=P(A|B)P(B)。例如 B 的概率为 1/2,B 内 A 的条件概率为 1/3,则同时发生的概率为 1/6;互换条件也可以得到相同的联合概率。 联合概率与乘法法则
原书依据 · 1 处
spine-047 第3章 概率
边际化把不关心的变量汇总掉:要得到杯装的概率,就把杯装对应的各种口味的联合概率相加,而不再区分口味。
边际概率只关心一个变量的结果,把联合分布中其他变量的可能结果加总。例如按口味和包装统计订单时,某口味的概率可把它在杯装、蛋筒装中的联合概率相加;各项必须覆盖互斥且完整的包装类别。 边际概率汇总其他变量
原书依据 · 1 处
spine-048 第3章 概率
先把真实类别与预测类别交叉,确认矩阵每个轴的方向,再计算各指标。准确率以全部样本为分母;精度看预测阳性,召回率看实际阳性,特异性看实际阴性。只报告单个指标可能掩盖漏报或误报;F1 综合精度与召回率,却不反映所有业务代价。书中表 3.1 把 FN/(TN+FN) 标为“正确发现率”有误,该式是阴性预测中的假遗漏率。
二分类的混淆矩阵按真实类别与预测类别交叉计数:TP 为真实阳性且预测阳性,FN 为真实阳性却预测阴性,FP 为真实阴性却预测阳性,TN 为真实阴性且预测阴性。表格的行列次序并不统一,读图时应先看标签。 混淆矩阵区分四种结果
假阳性与假阴性的代价可能不同。筛出禁止销售的物品时,漏掉一个可能比误拦一个更严重;选择模型和阈值时,需要结合行动后果,而不是只追求某一个笼统的正确率。 分类错误的代价取决于场景
准确率=(TP+TN)/(TP+TN+FP+FN),衡量总体预测正确比例;精度=TP/(TP+FP),衡量预测阳性中真正阳性的比例;召回率=TP/(TP+FN),衡量实际阳性被找出的比例。分母为零时指标需要约定处理。例:TP=6、FP=2、FN=4、TN=8,则三者分别为 0.70、0.75、0.60。 准确率精度与召回率
只预测一个最有把握的阳性,可能得到完美精度却漏掉大量阳性;把所有对象都预测为阳性,则可得到完美召回率,却可能产生大量误报。因此需要同时观察两项指标,并根据误报和漏报的代价选取工作点。 精度与召回率需共同看
F1 是精度 P 与召回率 R 的调和平均:F1=2PR/(P+R),也可由混淆矩阵写为 2TP/(2TP+FP+FN)。两者之一很低时,F1 也低;它没有直接计入真阴性,不能代替对具体错误代价的分析。 F1综合精度与召回率
特异性 TN/(TN+FP) 是实际阴性中被正确判为阴性的比例;阴性预测值 TN/(TN+FN) 是预测阴性中实际阴性的比例。两者分母不同,不能互换。假阳性率是 FP/(FP+TN),假阴性率是 FN/(TP+FN)。原书表中 FN/(TN+FN) 的文字标签有误,此式是预测阴性中的假阴性比例。 特异性与阴性预测值
spine-049 第3章 概率
该虚构示例预期有 99 个真阳性和 198 个假阳性,因此阳性预测值为 99/297,即约三分之一。原文一处把特异性误说成阴性预测值;特异性的分母是实际阴性者,阴性预测值的分母才是测试阴性者。
同一检测的阳性预测值依赖被检测人群的基率。原书虚构例子中,1 万人患病率 1%,灵敏度 99%、特异性 98%,预期真阳性 99、假阳性 198,因此阳性者实际患病比例为 99/(99+198)=1/3。这里特异性是实际未患病者中检测阴性的比例,不是阴性结果中健康者的比例;计算依赖给定人群和检测性能假设。 基率影响阳性预测值
原书依据 · 1 处
spine-050 第3章 概率
本章参考资料涉及概率基础、统计解释、天气图和诊断指标;具体文献和类型见概览。
spine-051 第4章 贝叶斯定理
本章解释如何结合先验和新证据更新概率判断。
spine-052 第4章 贝叶斯定理
贝叶斯方法把先验认识和观测证据组合成后验判断。本书把贝叶斯定理写成20世纪70年代提出是年代错误,贝叶斯的工作属于18世纪。
本章从硬币例子引入在观察证据后更新判断的方法,再把它应用到分类测试。先验、似然与后验各回答不同问题,不能把条件方向颠倒。
spine-053 第4章 贝叶斯定理
频率方法常把固定参数的估计过程放在重复抽样下评估;贝叶斯方法用概率分布表达参数不确定性,并通过似然更新。两者都可以承认固定但未知的真实参数,频率方法也不等于总是选择测量众数。
频率学派通常把未知参数视为固定值,用重复抽样分布评价估计和区间;贝叶斯推断用先验分布表达对未知参数的不确定性,再结合数据的似然得到后验分布。给未知参数赋予概率分布并不意味着否认真实值存在。原书用“贝叶斯方法没有真实值”概括过于绝对;这一对比据 Penn State 课程澄清(2026-11-21 核验)。 频率与贝叶斯推断
原书依据 · 1 处
spine-054 第4章 贝叶斯定理
硬币偏置是正面出现的概率参数;有限次抛掷的正面比例是观测量,通常会围绕该参数波动,不能把它直接等同于无误差的真实概率。
公平硬币正反面概率各为一半;偏置硬币的正面概率可以偏离一半。观察多次抛掷可以为不同偏置提供证据,但有限样本不会自动确定唯一真实参数。
spine-055 第4章 贝叶斯定理
相同先验下,一次正面观测更支持正面概率较高的不公平硬币;分母是所有假设产生该观测的加权概率,并非把各条件概率直接相加。公式是后验=似然×先验/证据,结论取决于假设和似然是否符合实际。
贝叶斯定理把观测前的假设概率与观测结果结合:P(A|B)=P(B|A)P(A)/P(B),其中 P(A) 是先验,P(B|A) 是假设下观测的似然,P(B) 是证据概率,P(A|B) 是后验;要求 P(B)>0。原书例子中公平和偏置为 2⁄3 的硬币先验各半,观察一次正面后,公平硬币的后验为 (1/2×1/2)/(1/2×1/2+2/3×1/2)=3/7。结论依赖这些先验与模型假设。 贝叶斯定理更新信念
原书依据 · 1 处
spine-056 第4章 贝叶斯定理
已知探测器阴性时仍有生命的概率,要结合生命先验率与探测器在有、无生命条件下的阴性概率。多次探测是否提供独立证据取决于误差机制;相关误差不能简单按独立重复计算。
诊断测试例子说明:想知道阳性样本真正属于目标类的概率,需要同时考虑目标类的基础比例、测试对正例的识别能力和误报率。测试本身准确并不意味着阳性结果一定可靠,尤其在目标事件很少时。
spine-057 第4章 贝叶斯定理
多次观测可顺序更新:在条件独立的硬币模型下,逐次相乘的似然会累积证据。后验不会保证每一步都更接近真实值;错误模型、相关观测或极少见序列都可能造成高置信度错误。
连续获得数据时,可以把已观察数据后的后验分布作为下一轮的先验,再结合新观测的条件似然更新。抛硬币时,一次正面可能提高偏向正面的硬币的相对概率,随后反面又可能使其下降。更新必须使用与已有观测相符的条件似然;若观测相关,不能直接当作独立证据重复相乘。更多观测也不保证每一步都更接近真实值。 后验成为下一次先验
原书依据 · 1 处
spine-058 第4章 贝叶斯定理
多个互斥且穷尽的假设必须一起归一化。若候选集合没有真实偏置,后验集中到候选中相对匹配的值,并不证明这个值就是真值;把模型赋予零先验的可能性也无法靠后续数据恢复。
多个互斥且穷尽的假设可各自保留先验概率。观察数据后,用每个假设的先验乘以该假设下数据的似然,再除以所有假设的对应乘积之和,得到各自后验。例如硬币正面概率只能取 0、0.25、0.5、0.75、1 时,一次正面会使概率为 0 的假设后验变为 0。结果受假设集合与先验限制:若真实情况不在模型中,后验只能在已有候选中比较。 多个假设的贝叶斯更新
原书依据 · 1 处
spine-059 第4章 贝叶斯定理
本章参考资料包括硬币偏置教程、贝叶斯分析教材以及概率解释的资料,具体条目见概览。
spine-060 第5章 曲线和曲面
本章借助曲线和曲面说明导数、梯度与优化。
spine-061 第5章 曲线和曲面
导数和梯度描述局部变化,为后续训练算法提供方向信息;真正训练还依赖损失、参数化和学习率等选择。
梯度下降依赖曲线或曲面的局部变化。本章用斜率、极值和多变量曲面解释后续模型训练所用的几何直觉。
spine-062 第5章 曲线和曲面
函数将输入映射到输出;曲线和曲面是某些函数的可视化。连续、光滑是本章的讲解假设,实际神经网络也会包含 ReLU 等不可处处求导的函数。
函数为每个允许的输入指定一个输出。单变量函数可画为平面曲线,多变量标量函数可用曲面直观表示;例如两个坐标作为输入,高度作为输出。曲线的连续和可导等性质是额外条件,不能由“是函数”自动推出。 函数表示输入输出关系
原书依据 · 1 处
spine-063 第5章 曲线和曲面
导数描述当前位置附近的变化率;沿导数方向移动是局部近似,有限步长未必持续改进。原文说全局极值只有一个不正确:不同位置可取到相同全局极值,某些函数也没有全局极值。
函数在一点的导数表示输入微小变化时输出的一阶变化率;对于可导的一元函数,它也是该点切线的斜率。正导数表示在该点附近沿输入增大方向局部上升的趋势,负导数相反;较大的有限步长未必遵循这个局部趋势。 导数描述局部变化率
局部极值只需在某个邻域内最大或最小,全局极值则比较整个定义域。极值可能不存在,也可能在多个位置同时取得;可导内点的极值通常满足导数为零,但导数为零也可能是非极值点。原书声称全局最大和最小各只有一个,并不一般成立。 局部极值与全局极值
原书依据 · 2 处
spine-064 第5章 曲线和曲面
梯度是偏导数组成的向量,负梯度给出欧氏尺度下局部最陡下降方向。可微点上的零梯度是存在的零向量,并非“梯度不存在”;零梯度也可能是鞍点或局部最大值。
可微多变量函数的梯度是各偏导数组成的向量。在通常欧氏距离下,非零梯度指向局部增长最快的方向,负梯度指向局部下降最快的方向;梯度下降按负梯度方向更新参数,步长会影响实际结果。 梯度与最陡方向
可微函数在平坦点、局部极大或极小点及某些鞍点都可能有零梯度。零梯度是梯度存在且等于零向量,不是梯度不存在;它只说明一阶线性变化为零,不能单凭它认定是最小值。原书有时用“梯度不存在”描述零梯度,此处作区分。 零梯度不等于极小值
原书依据 · 2 处
spine-065 第5章 曲线和曲面
本章列出两本微积分教材供补充理论细节,具体条目见概览。
spine-066 第6章 信息论
本章介绍编码、信息和不确定性的定量联系。
spine-067 第6章 信息论
本章所说的信息量使用概率模型来度量不确定性,与一条消息对人的意义或价值不是同一个概念。
信息论用可量化的不确定性研究编码与通信,这里的“信息”与日常所说有意义的内容并不完全相同。本章从编码出发解释熵等概念。
spine-068 第6章 信息论
相同词语在动物园话题和陌生短信开头的出现概率不同;信息量依赖模型给定的条件概率,并非该词固有的语义价值。
同一个词在不同语境下出现的可能性不同,因此带来的意外程度也不同。例如“河马”出现在普通短信开头可能少见,在动物园相关句子中则更可预期。信息量必须相对于所采用的概率模型与已知上下文解释。 语境改变事件意外程度
原书依据 · 1 处
spine-069 第6章 信息论
比特既可用于表示二进制存储容量,也用于以二为底的对数信息量;单位与用于存储或传输的物理装置应区分。
比特是信息量的单位,和设备采用何种物理机制无关。存储器可以承载一定数量的比特;电荷、磁态或其他物理状态是表示信息的方式,而不是信息单位本身。 比特是信息量单位
原书依据 · 1 处
spine-070 第6章 信息论
事件自信息为 −log₂p;多个事件相加时须使用条件概率链,只有独立时才可直接相加各自的边际自信息。原文“不相关”的措辞不足以保证独立。
事件的自信息量可写成 I(x)=−log₂P(x) 比特(P(x)>0)。在同一概率模型下,事件越罕见,自信息越大;概率为 1⁄4 的事件包含 2 比特。独立事件的联合概率相乘,因此自信息相加;相关事件应使用条件概率。原书 6.2 以意外程度直接归一化后说高意外词更常见,不能当作通常的事件概率模型。 自信息与概率
原书依据 · 1 处
spine-071 第6章 信息论
对 N 个不同词使用定长二进制编号需要 ⌈log₂N⌉ 位;共享词表也要计入实际系统的构建和传输成本。
若有 N 个符号且每个符号使用相同长度的二进制编码,至少需要向上取整的 log₂N 比特。例如 50 个符号需 6 比特,10700 个需 14 比特。发送者和接收者必须共享词表,词表本身的传输或维护成本应另算。 固定长度编码与词表
原书依据 · 1 处
spine-072 第6章 信息论
把短码分给常见符号可以降低平均码长,但编码还必须保证可解码,并考虑码表与分隔成本。原文的静态频率匹配例子并不意味着每个编码过程都在线更新。
可变长度编码可以为常见符号分配较短码字、为少见符号分配较长码字,从而降低按真实频率计算的平均码长。码字还需满足可唯一解码等约束;编码表的传输成本和实际符号频率都会影响总收益。原书用莫尔斯电码和哈夫曼编码说明这一思想。 常见符号使用较短编码
原书依据 · 1 处
spine-073 第6章 信息论
香农熵 H(P) 是 P 下自信息的期望。原文将“同一消息采用不同编码的平均长度”也称作熵,严格说应区分信源熵与用另一模型编码时的交叉熵。
离散分布 P 的香农熵 H(P)=−Σp(x)log₂p(x),即按该分布加权的平均自信息,单位是比特。确定发生的单一结果熵为零;固定有限结果数时,均匀分布的熵最大。消息样本的实际码长与编码模型还涉及交叉熵及编码约束,不能简单等同于熵。 香农熵是平均自信息
原书依据 · 1 处
spine-074 第6章 信息论
交叉熵 H(P,Q) 是按真实分布 P 平均的 −log₂Q:模型 Q 给实际常见的结果较低概率,就增加代价。它对应理想编码长度,实际有限码字和码表开销可能使长度不同。
真实分布 P 下用模型分布 Q 赋予事件概率,其交叉熵 H(P,Q)=−ΣP(x)log₂Q(x),是按 P 平均的模型自信息。Q 对常见事件给出较低概率会增加代价;若 P(x)>0 而 Q(x)=0,交叉熵发散。分类训练常用样本平均负对数概率作为交叉熵损失。 交叉熵衡量模型编码代价
原书依据 · 1 处
spine-075 第6章 信息论
D_KL(P‖Q)=H(P,Q)−H(P) 衡量用 Q 近似 P 所增加的理想平均编码代价;它一般不对称,Q 对 P 可能发生的事件赋零概率时可能为无穷大。
KL 散度 DKL(P‖Q)=ΣP(x)log₂(P(x)/Q(x))=H(P,Q)−H(P),衡量以 Q 代替 P 的理想平均编码额外代价。它非负,但通常不对称,因此不是距离;若 P 对某事件赋正概率而 Q 赋零概率,散度为无穷。 KL散度是不匹配的额外代价
原书依据 · 1 处
spine-076 第6章 信息论
本章参考资料包括信息论论文、编码历史、文学文本和相关教程;具体条目见概览。
spine-077 第7章 分类
本章讨论用特征和决策边界将样本分为类别。
spine-078 第7章 分类
分类任务把预测与已知标签比较,但训练目标是新样本的表现;类别也可以是互斥单标签或需要同时输出多个标签。
分类是把输入分配到某个类别的任务。作者用几何边界讨论类别分布、分类错误和更高维特征,为后续具体分类器做准备。
spine-079 第7章 分类
决策边界把特征空间划分为预测区域,边界可依据误报与漏报代价调整。书中明确鸡蛋重量与长度是教学假设,不能据此认定它们可靠预测受精状态。
分类器将特征空间划分为预测类别不同的决策区域,区域之间的线或曲面是决策边界。二维鸡蛋示例以重量和长度为坐标;新样本落在哪个区域就得到对应预测。若类别重叠,边界的选择还应考虑误报与漏报的代价。 分类决策边界与区域
原书依据 · 1 处
spine-080 第7章 分类
多分类把每个输入分配到多个互斥类别之一;特征数和类别数是两个不同的量,增加维度也会增加计算与估计难度。
多分类为每个输入从三个或更多互斥类别中选择一个标签。可以把特征空间划分为多个决策区域,再按样本落入的区域预测类别;特征数量与类别数量是不同的概念,多分类并不要求二维数据。 多分类扩展类别区域
原书依据 · 1 处
spine-081 第7章 分类
K 类 OvR 通常训练 K 个模型,OvO 训练 K(K−1)/2 个;最终聚合仍需定义分数可比性或平票处理。
一对其余(OvR)为每个类别训练一个“该类与其他类”的二分类器,再比较分数;一对一(OvO)为每对类别训练分类器,通常通过投票汇总。K 个类别分别需要 K 个和 K(K−1)/2 个分类器;分数可比性、平票及训练成本需按实现处理。 二分类器组合成多分类
原书依据 · 1 处
spine-082 第7章 分类
K 均值用预设簇数和距离目标形成分组;簇未必等于业务标签,K 的选择需结合评价标准和使用目的。不是所有聚类算法都必须预先指定簇数。
K 均值聚类以预设的 K 将数据分组,并用簇中心概括各组。K 是训练前选择的超参数:过少可能合并不同结构,过多可能拆分相似数据。聚类结果取决于数据表示和距离,得到 K 个簇不证明它们就是自然类别。 K均值需要选择簇数
原书依据 · 1 处
spine-083 第7章 分类
如果每个维度分 m 格,d 维共有 m^d 格:固定样本数下平均每格样本数下降,但真实数据可能集中在低维结构上。平均每格 0.08 个样本不自动等于某格被占用的概率为 8%。书中的高维角球例子若允许中心球超出盒子,就不再满足“球装在盒内”的条件。
若每个维度分成 m 个区间,d 维空间就有 m^d 个小格;样本数固定时,平均每格样本数随维度迅速下降。分类边界在缺少附近样本时更难估计。实际数据可能集中在较低维的结构上,能缓解稀疏,但是否有效取决于数据与模型。 维度增加使样本稀疏
在各维边长相同的超立方体中,内切超球体占总体积的比例随维数升高而趋近零。低维中常见的空间直觉未必适用于高维;使用几何类比时还须写清约束。原书气球与橘子例子在高维声称球超出盒子,说明仅考虑角球不相交时不能同时保证橘子位于盒内。 高维体积与直觉
原书依据 · 2 处
spine-084 第7章 分类
本章参考资料涵盖分类、验蛋示例和高维几何,具体条目见概览。
spine-085 第8章 训练与测试
本章说明如何划分数据并估计模型对未见样本的表现。
spine-086 第8章 训练与测试
模型训练是根据数据改变参数;评估则需要模拟部署时的新数据。是否重训或更换模型,应根据验证过程而不是反复查看最终测试集来决定。
学习不只是记住训练样本,还要评估对未见样本的表现。本章讨论划分数据、测量误差以及利用验证结果选择模型。
spine-087 第8章 训练与测试
一个 epoch 是完整遍历训练集一次,不等于一次参数更新。背景与标签共现可能让训练准确率虚高,部署数据变化时规则失效;书中的坦克故事是轶事,不作为已证实实验事实。
训练集高分不保证部署后同样有效。若训练图像中某犬种恰好总在沙发上,分类器可能利用背景而非犬种特征;遇到新背景时就可能失效。应使用代表实际使用场景的独立数据评估,并检查可能的偶然关联。 训练集高分可能依赖伪特征
一个 epoch 指训练过程完整遍历一次训练集。模型可能需要多个 epoch 才逐步调整参数;每轮可重新打乱样本顺序。epoch 数并非越多越好,应通过独立验证观察泛化表现,并结合计算成本选择停止时机。 epoch与重复训练
原书依据 · 2 处
spine-088 第8章 训练与测试
测试集须保持独立,包括预处理时学习到的均值等统计量。反复依据测试分数调整模型,也会把测试集变成选择流程的一部分;最终评价需要独立保留的数据。
测试集用于最终估计模型对未见数据的表现。若训练或预处理使用了测试样本的信息,例如用全量数据计算标准化参数,就可能造成数据泄漏,让评估过于乐观。预处理应只在训练部分拟合,再应用于留出的数据。 测试集泄漏会高估性能
原书依据 · 1 处
spine-089 第8章 训练与测试
验证集可反复用于模型选择,因此最佳验证分数会受到选择过程影响;最终测试数据应尽可能独立,并代表预期部署场景。
训练集用于拟合参数;验证集用于比较方案、选择超参数或停止时机;最终测试集留到选择完成后评估。即使模型没有用验证标签做梯度更新,反复依据验证表现做选择也会适应该验证集,因此其分数不应充当独立最终评估。 验证集选择模型测试集评估
原书依据 · 1 处
spine-090 第8章 训练与测试
每折的预处理也必须只从该折训练部分拟合;时序、同一人的重复记录等数据还需采用符合依赖结构的划分。交叉验证本身不自动排除泄漏。
K 折交叉验证把训练数据分成 K 份,每轮用一份验证、其余份训练,汇总各轮得分;每轮需要重新拟合模型和预处理。它能较充分利用有限训练数据,但不能自动消除泄漏:分组、时间顺序和预处理边界仍须匹配问题,调参后的最终评价仍需独立测试。 K折交叉验证轮换留出
原书依据 · 1 处
spine-091 第8章 训练与测试
选择超参数时使用验证数据或交叉验证;若最终测试结果促使重新设计,之后需要新的独立评价数据才能再次估计最终性能。
测试结果可帮助描述模型在代表性未见数据上的表现,也能揭示哪些类别容易混淆。如果反复根据同一测试结果修改模型,这组数据就参与了选择;应另留独立测试数据,避免把调参后的分数当作无偏最终评估。
spine-092 第8章 训练与测试
参考资料包括交叉验证教程、伪特征故事及犬种示例,条目见概览。
spine-093 第9章 过拟合与欠拟合
本章比较欠拟合、过拟合及改善泛化的方法。
spine-094 第9章 过拟合与欠拟合
从有限数据学规则时,既可能未学到任务规律,也可能把偶然细节当作规律;两种问题需要不同诊断。
本章比较模型太简单与过度贴合训练数据的两种问题,并讨论用验证曲线观察它们、用正则化及训练选择改善泛化。
spine-095 第9章 过拟合与欠拟合
训练误差低、验证误差高可能提示过拟合;训练和验证都差可能提示欠拟合。增加数据不能自动修复模型容量不足、特征不足或优化失败。
欠拟合是模型尚未充分捕捉任务规律,训练表现也可能较差;过拟合则表现为训练数据上很好、未见数据上较差。模型容量、训练方式、数据和正则化都可能影响两者。增加数据不必然修复容量不足造成的欠拟合。 过拟合与欠拟合
原书依据 · 1 处
spine-096 第9章 过拟合与欠拟合
把训练误差曲线与验证误差一起看,才能区分继续贴合训练数据是否仍有助于泛化。异常点也可能是真实重要样本,不能只因难以拟合就删除。
过拟合时,模型在训练样本上的误差继续下降,但对独立数据的表现不再改善甚至变差。曲线差异是诊断线索,具体原因还需结合数据划分、噪声、模型容量和指标判断;早停等方法利用验证集选择训练时机。
spine-097 第9章 过拟合与欠拟合
早停用验证表现选择训练时刻;实际通常需要容忍短期波动,并保存或恢复表现最好的模型状态。
及早停止在训练过程中观察验证集指标,当表现持续不再改善时停止,并通常保留验证表现最好的参数。验证曲线可能有噪声,因此可设置容忍轮数;最终仍需独立测试集评估。 及早停止监测验证误差
原书依据 · 1 处
spine-098 第9章 过拟合与欠拟合
正则化通过约束或扰动等方式影响模型复杂度与训练;权重惩罚不要求所有权重近似相同。批归一化主要用于稳定训练,其正则化效果依赖上下文,不能视为总能防止过拟合。
正则化通过限制模型或改变训练过程,减少模型对训练样本偶然细节的适应。例如在损失中加入权重大小的惩罚,惩罚强度通常由超参数控制。强度过大可能欠拟合,实际效果依模型、尺度与数据而定,并不要求所有权重相等。 正则化限制过拟合
原书依据 · 1 处
spine-099 第9章 过拟合与欠拟合
偏差与方差描述在不同训练集上预测的系统误差与波动;常见复杂度变化下有权衡,但不是永远严格反向变化,也不是不能同时改善。低训练误差本身不证明低偏差。
在重复抽取训练集并重新训练的设定下,偏差描述平均预测与目标之间的系统差异,方差描述预测随训练集变化的波动。简单模型可能高偏差低方差,灵活模型可能低偏差高方差,但两者并非必然此消彼长;比较要明确数据分布、目标和评价点。 偏差与方差描述不同误差
原书依据 · 1 处
spine-100 第9章 过拟合与欠拟合
线的斜率和截距可视为待推断参数;贝叶斯更新保留参数的后验分布,而不是只保留一条最佳线。后验收缩依赖模型与观测假设,贝叶斯估计也可以研究频率学派的偏差和方差。
贝叶斯线拟合可对斜率与截距设置先验分布,再根据数据在每组参数下的似然更新为后验。后验表示在模型与先验假设下各参数的相对可信度;从后验抽取多条线可展示参数不确定性,而非只给出一条拟合线。 贝叶斯线拟合保留参数分布
原书依据 · 1 处
spine-101 第9章 过拟合与欠拟合
本章引用正则化论文与讲义、偏差方差教程和线拟合教材;具体条目见概览。
spine-102 第10章 神经元
本章从人工神经元出发讨论感知机及其学习能力。
spine-103 第10章 神经元
人工神经元是深度网络中的计算单元,名称来自生物启发;许多其他机器学习算法并不使用这种结构。
人工神经元将多个输入按权重组合,再加入偏置并经过激活函数。作者从这个基本计算出发连接感知机和后续网络。
spine-104 第10章 神经元
生物神经元涉及电化学、时间与复杂连接;人工神经元只保留非常抽象的输入、组合与输出结构,不能据此把神经网络直接等同生物大脑。
生物神经元通过复杂的电化学过程接收和传递信号。人工神经元借用了输入、整合和输出的抽象,但省略了大量生物细节,不能把一个人工单元等同于完整的生物细胞。 生物神经元是简化启发
原书依据 · 1 处
spine-105 第10章 神经元
人工神经元先计算加权和加偏置,再通过激活函数。单个阈值感知机只能形成线性决策边界;多层网络通过组合非线性变换表达更复杂的关系。
感知机把每个输入与对应权重相乘并求和,再与阈值比较以产生二元输出。单个线性阈值单元形成线性决策边界,因此不能直接分离所有数据;多个单元与适当结构可以表达更复杂的关系。 感知机加权求和并判别
现代人工神经元常先计算 z=Σwᵢxᵢ+b,再用激活函数输出 f(z)。权重控制各输入对加权和的贡献,偏置移动响应阈值;把常数输入设为 1、对应权重设为 b,可以把偏置并入同一求和式。 人工神经元的偏置与激活
原书依据 · 2 处
spine-106 第10章 神经元
小结将复杂的生物过程与高度简化的人工计算作类比;不应把类比当成生物机制的完整模型。
本章从单个神经元的加权求和与阈值决策出发,解释感知机如何根据错误调整参数。单层感知机的表达能力受限;把多个神经元和非线性组合起来,才进入后续网络的讨论。
spine-107 第10章 神经元
本章参考资料包括神经元生物学、感知机原始研究及连接体资料,具体条目见概览。
spine-108 第11章 学习与推理
本章通过推理和反馈解释学习的几种视角。
spine-109 第11章 学习与推理
推理需要区分事实、假设与结论,并明确新证据如何改变判断;具体逻辑形式在后文展开。
机器学习中的“学习”是根据数据改变模型行为。本章借助推理与条件反射的例子,区分结论的逻辑有效性、经验前提及反馈所能提供的证据。
spine-110 第11章 学习与推理
表示决定模型可描述什么,损失规定训练目标,优化器决定如何搜索。可表示不保证可从有限数据高效学到;无免费午餐结论依赖其问题集合和平均方式等假设。
机器学习可从三个相互配合的部分理解:表示限定模型能表达什么,评估用目标或损失衡量结果,优化调整参数以改善该目标。表示不足时再优化也无法表达所需关系;表示过强又可能需要正则化和独立验证。 学习的表示评估与优化
一种结果能被模型表示,不意味着算法一定能从有限数据和资源中找到它。应依次区分表达能力、理论可学习性和实际计算效率;例如单个线性感知机无法直接表示非线性决策边界,增大训练时间不能改变其表达形式。 可表示不等于可高效学习
原书依据 · 2 处
spine-111 第11章 学习与推理
演绎关系保证在前提成立时结论成立;归纳根据有限观察形成可修正的一般判断。科学实践通常交替使用假设、推导与检验。
演绎关注结论是否由前提按逻辑必然推出;归纳从有限观察提出一般规律,结论通常仍有不确定性。科学工作可交替使用两者:提出假设、推导可检验预测,再用观察评价和修订假设。 演绎与归纳的结论
原书依据 · 1 处
spine-112 第11章 学习与推理
演绎有效性只讨论结论是否由前提必然推出。若“下雨则穿雨衣”,看到雨衣仍不能推出下雨;推理无效也不等于结论一定为假。
推理有效是指前提若为真,结论必然为真;前提本身是否真实是另一问题。有效且前提都真实的论证才是可靠的。例如“所有人都会死亡;苏格拉底是人;因此他会死亡”具有有效形式。 有效推理不保证前提真实
由“如果 A 则 B”和“B 发生”不能必然推出 A,因为 B 可能由其他原因产生。例如下雨会让地面湿,但地面湿也可能来自洒水。相反,已知 A 与 A→B,可以有效推出 B。 肯定后件不能反推前件
原书依据 · 2 处
spine-113 第11章 学习与推理
样本比例只有在抽样过程和目标总体适当匹配时才可用于估计总体比例;随机波动仍存在,样本更多也不能自动消除系统性抽样偏差。
从样本观察推断总体时,样本的选择方式和代表性决定结论能否推广;大量但系统偏斜的样本仍可能误导。例如只观察某一棵树上的苹果,不能直接断言所有苹果都具有同样属性。样本比例是估计而非自动等于总体比例。 样本概括需要代表性
原书依据 · 1 处
spine-114 第11章 学习与推理
形式上有效的推导仍依赖前提是否有证据。侦探从线索推测解释不是必然证明,排除其他可能的结论还依赖候选集合是否穷尽。
演绎形式有效,只保证前提为真时结论随之成立;经验性前提本身可能来自有限观察,因此仍有不确定性。科学推理可以用归纳形成假设,再演绎出可检验的预测;检验结果支持或削弱假设,但单次符合通常不能证明假设必真。 演绎结论依赖前提证据
原书依据 · 1 处
spine-115 第11章 学习与推理
强化和惩罚按行为频率变化定义,正负表示增加或移除刺激。书中把参数梯度更新直接称作积极惩罚、把强化学习等同每步心理强化或惩罚,只是类比而非严格对应。
操作性条件作用按行为之后刺激的增加或移除,以及行为未来频率的变化区分:正强化是增加刺激并提高行为频率,负强化是移除刺激并提高频率;正惩罚是增加刺激并降低频率,负惩罚是移除刺激并降低频率。“正、负”表示增加或移除,不表示好坏。与机器学习的奖励信号是类比,不能把每一种参数更新直接等同于行为实验。 强化与惩罚按结果区分
原书依据 · 1 处
spine-116 第11章 学习与推理
本章参考资料涵盖逻辑推理、学习算法与行为主义;具体条目见概览。
spine-117 第12章 数据准备
本章介绍将原始数据转换为模型可使用的表示。
spine-118 第12章 数据准备
数据准备要先理解来源和质量,再决定可复用的处理流程;清理规则本身也可能引入偏差。
原始数据需要整理成与任务相符的特征和标签。本章讨论清理、编码、缩放、特征选择及数据增强,并强调训练时学到的变换要一致地用于新数据。
spine-119 第12章 数据准备
保存训练期拟合的转换及其参数,推理时复用;不能给每批新数据重新估计一个与训练不同的坐标系。
训练时若对特征做缩放、编码或其他预处理,预测新数据时必须应用同一套变换及训练时拟合出的参数。例如用训练集均值和标准差标准化后,也用这组值处理验证、测试和线上数据;不能让测试数据参与拟合预处理参数。 训练与推理使用相同变换
原书依据 · 1 处
spine-120 第12章 数据准备
为无自然顺序的类别随意编号会引入不一定有意义的大小和距离;独热编码将类别分开表示,生产中还要定义未知类别的处理。
有序类别具有有意义的顺序,名义类别没有天然次序。独热编码为每个类别建立一个位置,选中类别为 1,其余为 0;它避免把任意编号误当作有大小或距离关系。类别集合应在训练阶段确定,并为预测时未知类别制定处理方式。 类别数据与独热编码
原书依据 · 1 处
spine-121 第12章 数据准备
重复记录、缺失和异常可能是采集错误,也可能对应真实事件;应保留可审计规则并避免因清理删除有价值的少数样本。
数据清理包括检查意外重复、格式和单位错误、缺失值及异常值。缺失值可按任务选择填补或删除;异常值可能是真实稀有情况,也可能是错误,不能仅因偏离就机械删除。清理策略应记录并在训练数据上确定。 数据清理先判断原因
原书依据 · 1 处
spine-122 第12章 数据准备
区间缩放按训练数据的范围映射,标准化使用训练数据均值和标准差;新数据可能超出原范围。原文称标准化后约68%位于一个标准差内,这只在近似正态等条件下适用。
最小最大缩放按训练集范围将特征映射到指定区间;标准化通常减去训练均值再除以训练标准差,使训练数据均值为 0、标准差为 1。新数据使用原参数,可能超出训练范围。均值上下一个标准差约含 68% 是正态分布的性质,并非标准化自动保证。 归一化与标准化
原书依据 · 1 处
spine-123 第12章 数据准备
特征是否有用取决于目标、其他特征和模型;数据驱动的特征选择也须在训练集或每折训练部分进行。
特征选择保留与任务有关的输入,去除无信息或冗余的特征,以减少计算及潜在噪声。是否删除相关特征要以任务和验证结果判断:相关不等于完全重复。选择规则应只在训练数据上拟合,并一致应用于验证及新数据。 特征选择减少无用输入
原书依据 · 1 处
spine-124 第12章 数据准备
PCA 找到训练数据方差较大的正交方向,再用少数坐标近似原数据;高方差并不保证与任务标签最相关。PCA 通常需要中心化,是否按特征标准化取决于单位和目标;六张图增强成四千张也不等于四千个独立来源。
主成分分析(PCA)寻找数据中方差最大的正交方向,并把样本投影到选定的前几个方向,以较少坐标近似表示原数据。舍弃方向可能丢失信息,最大方差也不保证最有利于预测;成分数与缩放方式应按任务验证,变换只在训练数据上拟合。 PCA以主方向降维
数据增强通过旋转、平移或翻转等方式从已有图像生成变体,以帮助模型接触允许的变化。变体继承原图的信息,不能当作完全独立的新对象;划分训练与测试时应先按原始对象分组,避免同源变体跨集合造成泄漏。 数据增强不能替代独立样本
原书依据 · 2 处
spine-125 第12章 数据准备
特征和目标可各自有变换对象;预测前复用输入变换,输出若经缩放则需用目标的逆变换恢复单位。并非所有变换都可逆。
训练回归模型时若对目标值做了可逆缩放,预测输出仍处于变换后的尺度,需要使用训练时保存的目标变换参数逆变换,才能还原为原单位。输入同样使用训练阶段拟合的变换;超出训练范围的新值可能落在缩放区间外。 目标变换需要逆变换
原书依据 · 1 处
spine-126 第12章 数据准备
处理轴决定统计量来自哪里:逐样本可缩放一段音频,逐特征可根据训练集中每列统计处理气候变量,逐元素可统一变换像素单位。
二维数据可按行、列或单元格处理:逐样本操作一个样本的各特征,逐特征根据同一特征的多个样本处理一列,逐元素对每个值应用同一规则。选择取决于变量含义,例如英寸转厘米可逐元素乘 2.54,而不同单位的温度与风速不宜直接按行比较缩放。 按样本特征或元素处理
原书依据 · 1 处
spine-127 第12章 数据准备
交叉验证中每一折都应在其训练部分拟合预处理,再把同一变换应用于该折验证部分。使用库并不自动防泄漏,关键是把拟合预处理放进每折流程。
交叉验证每轮应先留出验证折,仅用其余训练折拟合缩放、填补或特征选择,再将得到的转换应用于训练折和验证折。若先用所有折确定均值、范围等,再划分验证,验证信息已进入训练流程,可能高估性能;库的使用方式仍需检查。 交叉验证每折拟合预处理
原书依据 · 1 处
spine-128 第12章 数据准备
本章参考资料包括 PCA 教程与图像研究,条目见概览。
spine-129 第13章 分类器
本章比较几种常用分类算法及其取舍。
spine-130 第13章 分类器
分类器的类别和特征需要由任务决定;先做简单基线有助于理解数据,再判断是否需要更复杂的模型。
本章比较几类传统分类器,重点是它们如何形成决策、对特征和数据的假设,以及训练与预测的不同成本。它们也可作为深度网络之前的基线。
spine-131 第13章 分类器
非参数不意味着没有参数或没有假设;成本差异依算法、索引和实现而定,不能一概认定其训练快、预测慢。
参数模型通常用固定维度的参数描述假设族;非参数方法的有效复杂度可随数据增长,例如近邻法保留样本供预测。两类方法都有假设,训练与预测成本也取决于具体算法和实现;选择函数形式本身不必然等于贝叶斯概率先验。 参数与非参数模型的取舍
原书依据 · 1 处
spine-132 第13章 分类器
K 近邻依赖距离、特征尺度和邻居选择;K 较小可能敏感于噪声,K 过大可能抹去局部结构。
K 近邻分类对新样本查找距离最近的 K 个带标签训练样本,并按标签投票。K 较小时边界可能对噪声敏感,K 较大时可能抹去局部小类别;距离度量和特征尺度也会影响邻居。它通常需要保存样本并在预测时做近邻搜索。 K近邻依邻居投票
原书依据 · 1 处
spine-133 第13章 分类器
软间隔 SVM 的 C 控制间隔违例的惩罚,而非直接规定空白宽度。核方法通过核函数计算特征空间内积,通常需选择核与参数,并不自动搜索所有变换。
线性支持向量机寻找分类超平面,并通过间隔与违反间隔的代价进行权衡。线性可分时可直观理解为最大化到最近样本的间隔;软间隔允许违反。常见 C 参数越大,对违反间隔的惩罚越强,并不保证每个数据集的实际间隔大小单调变化。 支持向量机与间隔
核方法通过核函数计算特征映射空间中的内积,使算法可在该空间表达原空间中的非线性边界,而通常无需显式构造高维特征。核的类型与参数由建模者选择或搜索;SVM 不会自动尝试所有可能变换。 核方法处理非线性边界
原书依据 · 2 处
spine-134 第13章 分类器
决策树在每个节点选择特征与阈值,把样本递归分组;划分质量比较子节点按样本量加权的不纯度。基尼不纯度为 1−Σp²,不等同于多数类误分类率。限制深度、最小叶样本数或剪枝可以控制复杂度。
决策树在内部节点根据特征测试选择分支,最终在叶节点输出类别或概率。训练时常按局部划分质量贪心选择特征和阈值;深树可能记住噪声,可通过限制深度、叶节点样本量或剪枝控制复杂度。 决策树递归划分特征空间
分类树可按信息增益或基尼不纯度评价划分:将父节点不纯度与按样本比例加权的子节点不纯度比较,选择下降较大的候选。基尼不纯度为 1−Σpᵢ²,反映类别混杂程度;它不等同于总是预测多数类的错误率。 节点划分比较不纯度下降
原书依据 · 2 处
spine-135 第13章 分类器
朴素贝叶斯的“朴素”指给定类别时特征条件独立;高斯朴素贝叶斯还假设各类条件下特征服从高斯分布。后者是似然模型,不是类别先验。
朴素贝叶斯按类别计算先验和特征似然,再用贝叶斯规则比较后验;“朴素”主要指给定类别时各特征条件独立的假设。高斯朴素贝叶斯进一步假设每类中特征的条件似然服从高斯分布,并从训练数据估计参数。高斯分布是似然模型,不是类别先验;也不是所有朴素贝叶斯变体都用高斯分布。原书将高斯假设称为先验且遗漏条件独立,已对照 scikit-learn 官方文档澄清(2026-11-21)。 朴素贝叶斯条件独立假设
原书依据 · 1 处
spine-136 第13章 分类器
比较分类器时应以相同数据划分和目标指标评估;速度、内存和解释性受实现及数据规模影响,不能从算法名称直接保证。
k 近邻保留样本并在预测时查找邻居;支持向量机通过边界与支持向量建模;决策树用递归切分形成规则;朴素贝叶斯以条件概率和简化独立假设进行分类。实际成本和准确率受数据规模、特征、核函数及实现影响,不能由算法名称单独决定。
spine-137 第13章 分类器
本章参考资料包括机器学习教材、Python 实践书与 SVM 专著,具体条目见概览。
spine-138 第14章 集成算法
本章介绍组合多个学习器的集成方法。
spine-139 第14章 集成算法
多个预测可以组合,但与硬件冗余一样,收益取决于错误是否高度相关,不能只凭模型数量保证正确。
集成方法把多个学习器的结果结合起来。本章比较投票、套袋、随机森林和逐步增强,并说明模型之间的差异如何影响组合结果。
spine-140 第14章 集成算法
多样性可降低部分误差,但若所有成员共享同样的数据缺陷或假设,投票不自动消除共同偏差。
集成方法组合多个学习器的预测,分类可投票、回归可平均。若学习器错误不完全相同,组合有机会降低单个模型的不稳定性;共同的系统偏差仍可能保留,组合并不保证更准确或更公平。 集成组合多个学习器
原书依据 · 1 处
spine-141 第14章 集成算法
相对多数选票最多的类别,不要求超过全部票数的一半;加权投票还需要说明权重来源和平票规则。
相对多数投票选择票数最多的类别,不要求它超过总票数的一半;加权投票则先把支持各类的权重相加再选最高分。平票策略和权重如何确定需要事先约定。 集成投票与权重
原书依据 · 1 处
spine-142 第14章 集成算法
套袋通过重采样和聚合降低不稳定学习器的方差;成员数不应机械地设为类别数,而应结合验证、稳定性与计算成本。
套袋(bagging)对训练集进行多次有放回重采样,分别训练学习器,再聚合预测:分类常投票,回归常取平均。数据扰动使模型有所差异,对不稳定模型有助于降低方差;共同偏差不会因投票自动消失。 套袋重采样并聚合
原书依据 · 1 处
spine-143 第14章 集成算法
随机森林通常结合样本重采样和每次分裂的特征随机子集;目的是减少树间相关性,具体采样方式依实现配置。
随机森林组合多棵决策树,通常每棵树使用重采样数据,并在每个分裂节点只考虑随机选取的部分特征。特征随机性有助于降低树之间的相似性;树数量、每次候选特征数及其他树参数需要结合验证与计算成本选择。 随机森林增加特征随机性
原书依据 · 1 处
spine-144 第14章 集成算法
极端随机树通常在候选特征中随机生成切分阈值,再比较候选划分;与随机森林一样,效果和随机采样设置依实现而异。
极端随机树在构建树时引入额外的随机性,例如对候选特征随机选择切分阈值,再比较候选划分。随机化可能降低模型之间的相关性和过拟合,也可能增加单棵树的偏差;结果依赖数据和实现。 极端随机树随机选择切分
原书依据 · 1 处
spine-145 第14章 集成算法
增强通常逐轮训练新学习器,针对当前误差或损失贡献进行更新并加权组合。书中称增强仅适用于二分类不对,多分类和回归都有相应方法;轮数也不能仅由类别数确定。
增强算法将多个简单学习器组合成预测更强的集成。不同 boosting 方法的训练规则不同;常见方法按顺序增加学习器,使后续模型关注先前模型尚未处理好的部分,并以加权形式组合。效果并非对所有任务必然改善,需要用独立数据评估。 增强算法组合弱学习器
原书依据 · 1 处
spine-146 第14章 集成算法
本章参考资料包括套袋与增强研究、决策树教程和集合预报资料,具体见概览。
spine-147 第15章 scikit-learn
本章以 scikit-learn 展示机器学习工具的统一接口。
spine-148 第15章 scikit-learn
本章代码以 scikit-learn 0.19 为背景:它用库对象连接概念与实验,但新版本的参数、数据集和默认行为须以对应版本文档为准。
本章以 Python 的 scikit-learn 为例,把前面讨论的分类、变换、集成和验证组织为统一接口。示例来自旧版本,概念可复用,实际参数和可用数据集应查对应版本文档。
spine-149 第15章 scikit-learn
scikit-learn 与数值计算工具协作;理解接口约定、数据形状和各版本默认值,比单纯复制调用更重要。
scikit-learn 建立在 Python 科学计算生态之上,用 NumPy 等数据结构连接各类估算器。熟悉数据形状、对象接口和库版本,比记住某个示例更有助于迁移到新任务。
spine-150 第15章 scikit-learn
书中代码是片段而非完整程序;模块路径、默认值和弃用情况应按所安装版本检查。清单 15.1 的 form 是 from 的排版错误。
作者按估算器、聚类、变换、集成、自动化和数据集等类别介绍接口,并解释 Python 中的对象、参数和调用惯例。后文通过具体例子展示这些接口如何组合;书中列出的版本与数量反映出版时的情况。
spine-151 第15章 scikit-learn
fit 学习并保存模型状态,predict 对新样本输出预测;分类决策分数不必是概率。书中示例的标量 predict 输入及老版本 API 应按当前版本要求调整形状。
监督估算器通常通过 fit(X,y) 从训练数据拟合参数,再用 predict(X_new) 对新样本预测;X 通常是“样本数×特征数”的二维数组。Ridge 回归示例可对单特征输入使用二维列。原书示例直接把标量传给 predict,使用时应按当前 官方入门文档核对输入形状(2026-11-21)。 估算器拟合与预测
分类器的 predict 返回预测标签;支持时 decision_function 给出决策分数,predict_proba 给出各类别概率估计。并非所有估算器都有这两种方法;概率估计还需根据任务检查校准,不能只因加总为 1 就断定可信。 分类分数与概率输出
spine-152 第15章 scikit-learn
KMeans 的簇编号只是分组标识;K 与特征尺度、初始化及数据形状共同决定结果,不能把簇编号当作天然的类别标签。
使用 KMeans 时指定 n_clusters,调用 fit(X) 学习簇中心,再用 predict(X_new) 为样本分配簇。簇编号是任意标签,不等同于真实类别;K 的选择和距离缩放应结合任务评价。 KMeans拟合与簇预测
原书依据 · 1 处
spine-153 第15章 scikit-learn
变换器在训练数据上拟合,随后复用相同参数;新数据映射后可超出训练范围。并非所有变换器都支持逆变换,预测目标和输入变换也可能需要不同对象。
变换器用 fit 在训练数据上学习参数,再用 transform 把同一变换应用于训练和新数据。例如 MinMaxScaler 根据训练范围缩放,范围外的新值可能仍超出目标区间。只有支持且有意义的变换才可调用 inverse_transform,不能假定所有变换都可逆。 变换器拟合与应用
原书依据 · 1 处
spine-154 第15章 scikit-learn
PCA 用训练数据拟合主方向再投影;whiten 是可选缩放,不是得到最佳 PCA 的普遍前提。
使用 PCA 时可指定 n_components,然后仅在训练集上 fit,再对训练和新数据调用 transform,得到主成分坐标。whiten 是可选设置,会改变输出尺度,并非取得最佳结果的必备条件;应依据任务和当前版本文档判断。 PCA拟合与投影操作
原书依据 · 1 处
spine-155 第15章 scikit-learn
集成器对外提供 fit 和 predict,但基学习器的可用方法与版本参数仍需核对;示例数据上的效果不能推广为其他任务的性能保证。
集成分类器把多个基学习器封装为一个对象,可使用 fit(X,y) 训练、predict(X_new) 预测。基学习器、数量和学习率会影响结果;书中 AdaBoost 参数采用旧版接口,迁移时应查阅当前文档。 集成估算器的统一接口
原书依据 · 1 处
spine-156 第15章 scikit-learn
自动搜索把每组超参数交给交叉验证比较,并在配置允许时用选中组合重新拟合;最终评估仍需独立测试数据。Pipeline 将多项式特征、缩放与模型串起来,使每折只在训练部分拟合。书中将 score 描述为启动交叉验证、把 bestparams 写成 best_parameters_,以及把 decision_function 分数直接称作概率,均需按具体版本文档纠正。
交叉验证通过多次训练和留出评分估计模型表现,分层折可尽量保持各类别比例。不要把估算器的 score(X,y) 当成交叉验证入口:RidgeClassifierCV 的 fit 执行内部选择,拟合后的 score 返回给定数据的准确率。原书示例在未拟合时调用 score 并称其返回交叉验证均分,与 官方文档不符(2026-11-21 核验)。 交叉验证分数与模型拟合
网格搜索对给定候选值做笛卡尔积并逐一评估;随机搜索按指定预算抽取参数组合,适合组合空间较大时探索。每个候选应以适当的交叉验证评分,最后保留独立测试集;搜索次数越多不代表泛化必然更好。 网格搜索与随机搜索
Pipeline 将变换器与最终估算器按顺序组合;交叉验证中每一折在训练部分拟合变换,再应用到验证部分。网格参数可用“步骤名参数名”定位,如 polydegree。GridSearchCV 的最佳参数属性是 best_params_,而非原书的 best_parameters_;参见 官方文档(2026-11-21 核验)。 流水线绑定预处理与搜索
在原始特征 x、y 外加入 x²、xy、y² 等多项式特征,线性模型仍对新特征线性加权,但在原始平面可形成弯曲边界。提高阶数会增加表达能力与过拟合风险,应在训练流程中结合正则化和交叉验证选择。 多项式特征扩展线性模型
spine-157 第15章 scikit-learn
合成数据可控制样本量与噪声,适合检查算法行为,但不能代表真实任务分布。书中 load_boston 属于旧版示例,现行版本需核对可用性及数据适用性。
scikit-learn 提供数据集加载器和合成数据生成器,例如 make_moons 可生成带标签的二维样本以测试分类流程。合成数据只代表生成假设,不等同真实场景;书中 load_boston 示例已过时,该接口在 1.0 弃用并计划在 1.2 移除,官方文档亦说明数据集的伦理问题(来源,2026-11-21 核验)。 数据集加载与合成示例
原书依据 · 1 处
spine-158 第15章 scikit-learn
随机拆分适合部分独立同分布样本;时间序列、同一实体的重复样本或稀有类别需要考虑时间、分组和分层约束。
train_test_split 可将样本与标签同步拆分,并可设定测试比例和随机种子。随机打乱适用于符合随机抽样假设的场景,但对时间序列、同一主体的重复样本或分组数据可能导致泄漏,应采用相应时间或分组拆分;类别不平衡时可考虑分层。 训练测试拆分要匹配数据
原书依据 · 1 处
spine-159 第15章 scikit-learn
学习库时可以先理解算法和工作流,再查阅所用版本的接口细节与默认值。
本章结束时回顾:库统一了常见操作接口,但数据处理、评估设计与算法选择仍由使用者负责。后续章节转向深度网络及其构建工具。
spine-160 第15章 scikit-learn
本章参考资料以 scikit-learn 0.19 文档和机器学习教材为主;旧文档不代表现行 API。
spine-161 第16章 前馈网络
本章将前馈神经网络表示为图,并讨论数据流与权重初始化。
spine-162 第16章 前馈网络
前馈网络把前层的计算结果传给后续节点;生物视觉层次只是启发,不能把人工层级直接等同大脑机制。
本章把神经网络看作由节点和有向边组成的计算图,先解释信号沿依赖关系向前传递,再讨论异步输入的协调和训练前如何初始化连接权重。
spine-163 第16章 前馈网络
前馈图中边按方向传递数据且不存在有向环;反向传播沿计算依赖计算梯度,并不把前向结构变成循环网络。
前馈网络的计算可以表示为有向无环图:节点执行计算,边把输出传给后续节点,数据沿依赖方向从输入流向输出,不在同一次前向计算中回到原节点。训练时反向传播梯度是沿依赖关系反向计算,并不把前馈模型变成循环网络。 前馈网络是有向无环计算
原书依据 · 1 处
spine-164 第16章 前馈网络
同步系统按统一节拍传递数据;异步系统中的计算可以在输入就绪时推进。若一个节点的计算要求每路输入都更新,不能仅比较数值是否变化,因为新结果可能恰好与旧值相同;可用版本、序列号或消息就绪机制辨认新数据。书中的时间戳是概念模型,实际分布式系统还须考虑时钟偏差和消息乱序,不能直接依赖不同机器的墙上时钟。 异步节点需要辨认新输入
原书依据 · 1 处
spine-165 第16章 前馈网络
同层神经元若拥有完全相同的参数并接收相同输入,在确定性的前向计算和梯度更新下会持续得到相同输出与梯度,无法学出不同特征。随机初始化权重有助于打破这种对称;偏置是否必须随机化则取决于架构,不应一概而论。 初始化需要打破神经元对称性
初始化不只要随机,还要让权重尺度与层的输入输出宽度及激活函数相匹配,以降低深层传播中信号或梯度过快消失、放大的风险。LeCun、Glorot/Xavier、He 等方案有不同假设;例如 He 初始化常用于 ReLU 类激活。初始化影响不保证会在训练初期迅速消失,应结合网络和训练表现验证。 初始化尺度影响信号与梯度
原书依据 · 2 处
spine-166 第16章 前馈网络
本章参考资料涵盖初始化、层级处理与图论;具体见概览。
spine-167 第17章 激活函数
本章介绍激活函数及其对网络表达和训练的影响。
spine-168 第17章 激活函数
激活函数作用于神经元的加权和及偏置,其输出供后续计算使用。
人工神经元先计算加权和,再用激活函数变换结果。本章解释这个最后步骤为何使多层网络获得非线性表达能力,并比较常见函数的形状和训练性质。
spine-169 第17章 激活函数
多个仿射层连续复合仍是一个仿射变换,多加层不能由此表达非线性关系。隐藏层加入非线性激活后,网络可组合出更复杂的函数;最终输出层仍可按任务采用线性输出。非线性是表达能力的条件之一,不保证模型一定能训练成功或泛化。 非线性激活避免仿射层折叠
原书依据 · 1 处
spine-170 第17章 激活函数
恒等和仿射激活不会为多层仿射组合增加非线性;阶梯函数虽非线性,但其不连续和几乎处处零导数不利于常规梯度训练。
恒等函数直接返回输入,其他直线形式也是仿射变换;多个这样的变换仍可合并。阶梯函数由分段常数构成,可以引入非线性,却在跳跃处不连续,且大部分位置的导数为零,因此不适合直接用于普通梯度训练。输出层采用恒等变换时,前面的非线性并不会因此消失。
spine-171 第17章 激活函数
阶跃函数在阈值两侧产生不同常数;恰好等于阈值时输出依定义不同,需明确约定。
阶跃函数在阈值两侧输出不同常数,是早期感知机的典型选择。阈值处取哪一侧或取其他值取决于定义;符号函数还可能规定输入为零时输出零。其决策清楚,但零梯度和不连续使常规反向传播难以直接调整隐藏层。
spine-172 第17章 激活函数
ReLU(x)=max(0,x):正半轴保留输入,负半轴输出零,提供计算简单的非线性。负半轴梯度为零,神经元可能长期不活跃;leaky ReLU 给予负半轴小斜率,PReLU 则可学习该斜率。ReLU 在零点不可微,实际自动微分框架按约定选择次梯度。 ReLU及其负半轴变体
Maxout 单元对同一输入计算多个可学习的仿射响应,再取其中最大值,形成分段线性的非线性函数。它可表示 ReLU 等特殊情况,也能形成更丰富的分段形状;代价是需要为多个响应维护参数,具体表达能力和计算成本取决于配置。 Maxout用多个仿射响应取最大值
原书依据 · 2 处
spine-173 第17章 激活函数
sigmoid 将有限实数映射到 (0,1),tanh 映射到 (-1,1);输入绝对值很大时两者斜率接近零,链式法则可能使梯度逐层衰减。书中 sigmoid 图注给出的 [-1,1] 是笔误,这一区间对应 tanh;饱和是渐近现象,有限输入并非数学上完全恒定。 Sigmoid饱和与梯度衰减
Softplus 是 ReLU 的平滑近似,ELU 在负半轴采用指数形式,swish 将输入与 sigmoid 相关的门控相乘;它们提供与分段线性函数不同的梯度和输出形状。平滑不保证更好,计算成本、初始化和任务表现都应通过实验比较。 平滑激活函数的选择
原书依据 · 2 处
spine-174 第17章 激活函数
选择激活函数要结合输出范围、梯度及任务;图示汇总不能证明某一种在所有问题上更优。
本节以图汇总 ReLU 及其变体、maxout、softplus、ELU、sigmoid、tanh 和 swish。比较时应关注输出范围、负半轴梯度和饱和区,而不是根据图形认定某个函数适合所有问题。
spine-175 第17章 激活函数
对互斥类别的 logits,softmax 将每个指数值除以全部指数值之和,所得非负且总和为 1,并保留分数排序。计算时先减最大 logit 可降低溢出风险;归一化只产生模型的概率估计,并不保证真实频率校准。多标签任务一般不能用互斥类别的 softmax 代替各标签独立建模。 Softmax将类别分数归一化
原书依据 · 1 处
spine-176 第17章 激活函数
本章参考资料涵盖分段线性与光滑激活的研究,以及信号和电路参考,具体见概览。
spine-177 第18章 反向传播
本章讲解反向传播如何高效计算损失对网络参数的梯度。
spine-178 第18章 反向传播
反向传播有效复用计算图中的中间结果求梯度,理解它有助于诊断训练问题;求出梯度并不保证优化成功。
反向传播解决的是如何高效求出损失对大量参数的导数。理解它有助于排查梯度消失、学习缓慢等训练问题;实际建模通常由自动微分库计算,而不是手写每一条导数。
spine-179 第18章 反向传播
损失定义了要优化的目标,梯度给出当前位置的局部变化率;有限步长和非凸结构使每步下降与找到全局最优都不能保证。
损失函数把预测与目标的偏差以及可选的正则项变成可优化目标。分类已正确仍可能有非零交叉熵,训练通常仍会更新;训练损失、验证损失和测试损失用途不同,不能凭训练误差判断泛化。损失的具体取值及零点由定义决定。 损失函数衡量优化目标
原书依据 · 1 处
spine-180 第18章 反向传播
无激活的多层仿射网络可合并为一个仿射变换;此处省略非线性仅是推导中的暂时假设。
为了先讲清依赖关系,作者暂时把激活函数当成恒等变换,之后再把导数放回计算。这个简化只是推导工具:如果整个网络始终只有仿射变换,多层结构仍可合并为单个仿射变换。
spine-181 第18章 反向传播
梯度乘变化量通常只是一阶近似;即使网络后半部分为线性,平方损失也使有限变化不严格成比例。反向传播计算梯度,优化器另行更新参数。
局部导数描述参数或中间值微小变化对损失的影响。作者用 delta 表达这种敏感度;对于一般非线性损失,变化量乘以导数只是附近的一阶近似,而不是任意大变化的精确结果。区分这个局部量与之后优化器真正执行的参数更新,能避免把求梯度与学习混为一谈。
spine-182 第18章 反向传播
两层网络将输入通过隐藏层映射为输出分数;未经归一化和校准的分数不能直接解释成可靠概率。
作者构造两个输入、一个隐藏层和两个输出的小网络,并为连接权重、神经元输出和梯度分别命名。输出分数可以用于比较类别,但未经适当转换时不应当直接当作概率。这个例子为接下来从输出层向隐藏层追踪梯度提供了具体对象。
spine-183 第18章 反向传播
平方损失在当前输出处的导数决定局部调整方向;原书把梯度与负梯度的符号混用,必须按损失定义和更新方向一致处理。
若 L=½(a−y)²,则相对于输出 a 的梯度是 a−y;梯度下降更新时减去该梯度。也可定义负梯度为 y−a,但此时必须加上该量。原书在把 delta 称为误差导数后写成标签减输出,同时又用减法更新,符号不一致;均方误差是否含 ½ 或求均值还会改变常数因子。 平方误差梯度的符号
原书依据 · 1 处
spine-184 第18章 反向传播
对于 z_j=Σ_i w_ij a_i+b_j,权重梯度为 a_i δ_j;实际更新还要乘学习率,并不能保证任意步长都降低损失。
一条连接的权重改变时,下游加权和的变化由前一节点的输出与该权重变化共同决定。因此,在其他条件固定时,权重梯度等于前一节点激活值乘以下游关于加权输入的梯度。实际更新应沿负梯度并乘以学习率;原书将梯度的倒数用于保证损失恰好下降固定值的说法不适用于一般非线性损失。
spine-185 第18章 反向传播
一个节点经多条路径影响损失时,反向传播将各路径的局部梯度贡献相加,避免逐参数重复求导。
反向传播从损失开始沿计算图反向应用链式法则;一个中间节点影响损失的多条路径,其梯度贡献需要相加。对 z_j=Σ_i w_ij a_i+b_j,若 δ_j=∂L/∂z_j,则 ∂L/∂w_ij=a_iδ_j,∂L/∂b_j=δ_j;δ_j 包含激活函数导数。反向传播计算梯度,优化器再据此更新参数。 链式法则传播误差梯度
原书依据 · 1 处
spine-186 第18章 反向传播
先完成前向与损失计算,再在相同参数状态下计算所需梯度,最后由优化器更新参数。
实际反向传播先完成前向计算和损失计算,再从输出向输入逐层计算梯度。每个节点汇总其所有后继路径的贡献;求出所需梯度后,优化器根据同一组参数状态更新权重。批量计算可以并行,但不意味着更新后旧梯度仍适用于新参数。
spine-187 第18章 反向传播
激活函数把加权输入变为输出;反向时把下游梯度乘以激活函数在前向输入处的导数,不可微点由实现按约定处理。
激活函数把加权输入变成输出,反向传播需要把下游梯度乘以该函数在前向输入处的导数。恒等函数的导数为一,因此简化例子中的公式不变;ReLU 在零点不可微,库采用约定的次梯度,并没有把它变成处处平滑的函数。
spine-188 第18章 反向传播
学习率缩放参数更新;太小可能慢,太大可能越过低损失区域。合适数值依目标曲面、批量和优化器而异。
梯度只描述当前位置附近损失的局部变化。学习率太大可能越过低损失区域甚至发散,太小可能使训练缓慢;合适值依赖模型、数据、批量大小和优化器,可比较训练与验证曲线并调整。学习率不必限制在 0 到 1,也不保证每一步或每个样本的损失都下降。 学习率控制梯度更新步长
原书依据 · 1 处
spine-189 第18章 反向传播
小批量在同一参数状态下计算各样本的梯度后再求平均;平均每个节点的输入与 delta 再相乘不一般等于平均权重梯度。梯度饱和、失活和非凸性都可能妨碍训练,增加计算并不保证全局最优。
小批量训练在同一组参数上计算多个样本的损失及其梯度,再将梯度求平均或按明确约定求和,执行一次参数更新。它兼顾硬件并行与梯度噪声,批量大小影响内存、吞吐和优化行为;对非线性网络不能简单先平均每个神经元的 delta 再乘平均输入来替代每样本权重梯度的平均。 小批量估计训练梯度
原书依据 · 1 处
spine-190 第18章 反向传播
本章参考资料包括链式法则、反向传播历史与优化教程,具体条目见概览。
spine-191 第19章 优化器
本章比较根据梯度更新权重的策略和优化器。
spine-192 第19章 优化器
优化器利用梯度产生参数更新;比较时既要看达到目标效果的时间,也要看最终验证表现。
前章讲如何计算梯度,本章研究拿到梯度之后如何更新参数,包括学习率随时间变化、不同批量的成本,以及利用历史梯度的动量和自适应方法。
spine-193 第19章 优化器
梯度很小可能是局部极值、平坦区域或鞍点;二维剖面只是高维损失面的局部直觉,不能揭示全部方向。
损失曲面提供观察优化的几何语言:局部极小值、平台与鞍点附近都可能出现很小的梯度,但它们的周围结构不同。梯度只提供当前位置的局部方向,不能直接告诉我们是否已找到全局最低点;训练曲线平坦也不能单凭外形证明具体原因。
spine-194 第19章 优化器
学习率调度改变更新尺度;调度规则和停止时机应通过训练与验证过程选择,避免根据最终测试集反复调整。
学习率调度根据训练步数、轮次或验证指标调整步长,例如指数衰减、分段衰减或指标停滞时降低。初始值、调整时点与衰减幅度都需结合任务试验;过快衰减可能使训练在未充分优化时停滞。使用验证集选择调度,保留测试集作最终评估。 学习率调度与验证指标
原书依据 · 1 处
spine-195 第19章 优化器
比较批量策略应同时看每次更新成本、处理样本数量、硬件利用率和达到同一验证指标的时间,不能仅比较更新次数。
全批梯度每次使用全部训练样本;单样本 SGD 每次使用一个;小批量 SGD 在两者之间折中。epoch 数不能直接代表成本:还应比较样本处理量、更新次数、实际耗时、显存和验证表现。整批梯度可以分块累加,不必要求整个数据集一次装入显存。 比较批量策略要计算实际成本
原书依据 · 1 处
spine-196 第19章 优化器
动量累积梯度方向,自适应方法再依据历史梯度尺度调整各参数步长;它们降低了部分手动调参负担,但仍有超参数和适用条件。
动量保留历史更新方向,可能穿过浅平区域,也可能因过冲而振荡;Nesterov 方法在前瞻位置估计梯度。AdaGrad 累积平方梯度,长期有效步长可能持续缩小;RMSprop 用平方梯度的指数移动平均,Adam 同时估计一阶和二阶矩并作初期偏差修正。这些方法仍有学习率等超参数,应按验证结果选择。 动量与自适应优化器
原书依据 · 1 处
spine-197 第19章 优化器
不存在对所有实际问题都经实证最好的优化器。应固定数据划分、训练预算和评价指标,并针对各优化器合理调参。
不存在可以不看任务和条件就断言最优的优化器。比较时固定数据划分、预处理和评估指标,为不同优化器合理调参,并记录训练时间与随机种子。无免费午餐定理依赖对问题空间及其分布的特定假设,不能据此断言任意现实任务上的方法必然等效。 优化器选择需要公平实验
原书依据 · 1 处
spine-198 第19章 优化器
本章参考资料涵盖学习率、动量和自适应优化器;具体条目见概览。
spine-200 第20章 深度学习
本章将各类神经网络层组合成深度学习模型。
spine-201 第20章 深度学习
深度网络通过组合多个层进行数据变换;每层接口和训练目标共同决定系统行为。
本章将前面的神经元、反向传播和优化器组成可执行的网络,并比较不同类型的层。选择层时既要看输入输出的形状,也要看任务需要的归纳偏置和评估方式。
spine-202 第20章 深度学习
张量形状描述批量、空间、通道等维度的排列;连接层时必须同时核对维度含义及大小。
深度学习框架通常把数据表示为多维数组;形状描述各轴长度,理解批量、通道、空间或序列轴有助于检查层间接口。重塑只改变数据的解释方式且通常要求元素总数一致,并不自动交换轴或提取新的特征。 用张量形状描述网络接口
原书依据 · 1 处
spine-203 第20章 深度学习
输入接口定义数据形状,输出接口应匹配任务:例如回归输出数值,分类输出类别分数或概率分布。
输入层通常表示接收数据的形状,输出层则把网络结果交给任务使用。回归可用连续输出;二分类可用一个得分或两个类别得分;互斥多分类常用每类一个得分。具体输出和损失必须配对,概率解释还需检查校准。
spine-204 第20章 深度学习
不同层有不同职责:全连接混合特征,卷积和池化处理局部空间结构,循环层处理序列。Dropout 与批归一化的训练和推理行为不同,保存模型时也要保存相关状态。
Dropout 在训练时随机屏蔽激活值,常见实现每次训练调用重新采样并按保留概率缩放;推理时通常关闭。批归一化训练时按批次统计量标准化,并常带可学习缩放 γ 和偏移 β,推理时通常使用累计统计量。书中称批归一化没有参数、dropout 每轮固定抽样并不适用于常见实现;具体以框架配置为准。 Dropout与批归一化区分训练和推理
原书依据 · 1 处
spine-205 第20章 深度学习
网络图中的符号只是结构表达;实际接口、参数与训练行为仍需查阅具体实现。
这一节用图形统一回顾计算层、归一化与随机操作,以及重塑、裁剪和填充等工具层。它们改变数据的计算或形状,不能仅凭图形外观推断是否有可训练参数。
spine-206 第20章 深度学习
示例展示层组合可以用于不同任务;历史数据集和性能数字受年代、训练条件及评估方式限制。
作者以 VGG16 为例展示多组卷积与池化、展平和全连接输出如何组合成图像分类器。预训练权重只有配合相同的输入预处理和类别解释才有意义;示例中遇到训练类别之外的图像也可能高置信误判,不能把分数当作可靠的未知检测。
spine-207 第20章 深度学习
先明确目标、标签与部署环境,再构建训练、验证和最终测试流程;数据划分应反映实际使用中的时间和主体依赖。
先根据部署场景划分训练、验证与测试数据,只在训练集拟合标准化、特征选择等变换;用验证集比较结构与超参数,最后用未参与选择的测试集评估。反复依据测试集调参会把测试信息带入模型选择,导致评估偏乐观。 训练验证测试应分工
原书依据 · 1 处
spine-208 第20章 深度学习
解释模型输出需要同时检查训练数据、目标标签、评估人群和部署漂移。书中提到的面部推断研究是有争议案例,不能把模型结果当作个人特征的可靠结论。
知道模型的计算过程并不等同于知道因果原因,也不保证决策对受影响的人公平。应检查训练数据的代表性与偏差、按相关人群评估误差,并在部署后监控输入和结果的变化;解释需要说明其适用范围,必要时提供人工复核与申诉路径。 解释预测还需检查数据与漂移
原书依据 · 1 处
spine-209 第20章 深度学习
本章资料涉及网络架构、数据竞赛、可解释性及应用风险;具体条目见概览。
spine-210 第21章 卷积神经网络
本章解释卷积如何处理图像等具有局部结构的数据。
spine-211 第21章 卷积神经网络
卷积结构适合利用局部模式与共享参数,但任务表现仍取决于数据、模型和评估条件。
图像中的局部邻域和空间位置提供了可利用的结构。卷积网络用共享的小过滤器处理这些邻域,既可用于识别,也可用于其他图像或序列任务;本章先解释算子,再看网络和对抗样本。
spine-212 第21章 卷积神经网络
卷积核在各位置复用相同参数,局部感受野限制一次计算看到的邻域;网络层数和特征通道数都可能被称为深度,需要看上下文。
卷积层在不同空间位置应用同一组可学习卷积核,每个输出位置只依赖相应的局部感受野;这减少参数,并让相同局部模式可在不同位置产生响应。边界、步幅和池化会影响平移等变性,不能把它理解为网络天然对所有平移、旋转和尺度变化都不敏感。 卷积的局部感受野与权重共享
原书依据 · 1 处
spine-213 第21章 卷积神经网络
过滤器在局部窗口上计算并滑动;填充和步幅影响输出形状和边缘覆盖,而多层组合扩大有效感受野。
在一个空间维度上,输入长度 n、两侧填充 p、核大小 k、膨胀率 d、步幅 s 时,输出长度为 floor((n+2p−d(k−1)−1)/s)+1。步幅增大常减少空间分辨率;填充决定边界处理,same 填充也须考虑步幅和框架规则。常见深度学习框架所称卷积通常实现互相关。 卷积的步幅和填充决定输出形状
原书依据 · 1 处
spine-214 第21章 卷积神经网络
输出通道数由卷积核数量决定;每个核跨输入通道计算并汇总,空间步幅则控制输出位置。
普通二维卷积的每个输出通道有一组覆盖全部输入通道的卷积核,空间局部及通道上的乘积求和生成该输出通道;输出通道数由过滤器数量决定。分组卷积和深度可分离卷积是例外,每个过滤器只连接部分输入通道。 卷积核跨通道组合特征
原书依据 · 1 处
spine-215 第21章 卷积神经网络
一维卷积沿时间或序列轴滑动;仍需确定窗口宽度、步幅、填充和通道。
一维卷积沿一个空间或时间轴滑动卷积核,可用于序列的局部模式。它与二维图像上的 1×1 卷积不同:前者描述滑动轴的数量,后者描述二维空间足迹的大小。
spine-216 第21章 卷积神经网络
1×1 卷积不直接聚合相邻空间位置,却可学习各输入通道的线性组合并改变输出通道数。
1×1 卷积在每个空间位置对输入通道做可学习的线性组合,能够改变通道数而保持空间位置关系;单独使用时不直接聚合邻近像素。瓶颈层可减少后续计算量,但具体收益和信息损失需要测量。 一乘一卷积混合通道
原书依据 · 1 处
spine-217 第21章 卷积神经网络
卷积核参数应根据输入输出通道和激活函数选择合适初始化;相同权重在空间位置共享,而不同过滤器需能学习不同模式。
创建卷积层时指定过滤器个数、核大小、步幅和填充,输入通道数由实际输入确定;每个输出通道使用相应卷积核。初始化应考虑输入输出宽度和激活函数,避免多个过滤器完全对称,也帮助维持信号尺度。
spine-218 第21章 卷积神经网络
转置卷积是卷积线性映射的转置,常用于改变空间分辨率;它不等同严格逆卷积,也不等同扩张卷积。
转置卷积是对应卷积线性映射的转置,可通过参数设置扩大空间尺寸,但通常不是原卷积的逆运算,也无法保证恢复丢失的信息。空洞卷积则在卷积核元素之间引入间隔以扩大感受野;书中将输入插零的转置卷积构造称为空洞卷积,容易造成混淆。 转置卷积与空洞卷积不同
原书依据 · 1 处
spine-219 第21章 卷积神经网络
VGG16 示例以卷积和池化层组合进行图像分类。过滤器可视化有助于提出假设,但无法单独证明模型在所有数据上的决策依据。
MNIST 示例将两个卷积层的特征图经过池化、展平和分类输出;VGG16 用重复卷积块和池化逐步组合局部特征。可视化可以观察哪些输入使过滤器响应,或查看某张图像在中间层的激活,但这些图只是对网络行为的线索。
spine-220 第21章 卷积神经网络
对抗扰动展示模型对特定输入变化的脆弱性;是否构成实际风险需明确攻击能力、约束和目标任务。
对抗样本是在规定扰动范围内刻意改变输入,使特定模型误分类;攻击可以针对单个样本或尝试跨样本的通用扰动。评估应写明攻击者知识、扰动度量和预算,并在相应威胁模型下衡量鲁棒性;并不能由个别例子推断任何模型和任何输入都必然可被同样方式攻破。 对抗扰动揭示模型脆弱性
原书依据 · 1 处
spine-221 第21章 卷积神经网络
本章参考资料覆盖卷积计算、架构、可视化和鲁棒性;具体条目见概览。
spine-222 第22章 循环神经网络
本章讨论用循环状态处理序列及其训练方法。
spine-223 第22章 循环神经网络
处理序列时顺序和上下文携带信息;书中生成作品与应用是历史案例,不能据此推断当前系统表现。
序列的当前元素往往依赖前后文,例如文本中的代词或视频中的运动。循环网络为处理过程中传递状态提供一种结构;能否使用未来信息取决于预测时实际能否获得该信息。
spine-224 第22章 循环神经网络
时间序列切分需先考虑未来信息是否泄漏到训练窗口;相邻样本的相关性也会影响评估。
滑动窗口把过去若干时点作为输入、未来值作为目标,重叠窗口可以充分利用数据,但相邻样本高度相关。先按时间或实体划分再构造及评估窗口,确保目标和预处理没有利用预测时不可获得的未来信息。全连接网络能够使用固定位置对应的顺序,只是没有循环网络的状态共享归纳偏置;书中称其不能从顺序学习过于绝对。 窗口顺序与时序泄漏
原书依据 · 1 处
spine-225 第22章 循环神经网络
循环状态是随序列逐步更新的运行时信息,模型权重是跨样本学习的参数;重置状态的边界取决于序列组织。
RNN 在每个时间步使用当前输入和上一隐藏状态计算新状态,相同权重跨时间步共享。权重在推理中通常固定,而隐藏状态随着序列变化;处理互不相关的序列时应按任务和框架约定重置或隔离状态,避免样本间串扰。 循环状态与模型权重不同
原书依据 · 1 处
spine-226 第22章 循环神经网络
RNN 单元用当前输入与先前状态计算新状态;状态坐标是模型学习出的表示,不一定有独立的人类语义。
循环单元将当前输入与上一时刻状态结合,产生新状态及输出;展开图中每个时间位置表示同一单元的重复使用,参数跨时间共享。状态的具体数值由学习过程形成,不能未经验证就把某一个维度解释为某个固定语义。
spine-227 第22章 循环神经网络
序列的批量、时间步与特征维应明确;不同长度及状态重置方式会影响训练。
序列数据通常组织为样本、时间步和特征三个轴。例如七天、每天八次、每次三个测量可表示为 7×8×3。实际轴顺序以所用框架为准;把时间步误放在特征或样本轴上,会改变模型看到的关系。
spine-228 第22章 循环神经网络
时间反向传播在展开的计算图上应用链式法则;长序列中的导数连乘可能导致梯度衰减或放大。
将循环网络按时间展开后,反向传播沿时间步应用链式法则,同一参数的各步梯度贡献相加。长期梯度涉及状态转移雅可比矩阵的连乘,可能消失或爆炸;其行为取决于权重、激活、状态和序列,而非单纯反复计算 tanh。梯度裁剪可控制爆炸,截断反向传播可限制计算长度,但会截断更远的梯度。 时间反向传播中的梯度连乘
原书依据 · 1 处
spine-229 第22章 循环神经网络
LSTM 的门控制保留、写入和读取状态;它有助于梯度流动,但不能保证任何任务都消除长期依赖困难。
LSTM 通过输入门、遗忘门和输出门控制单元状态的更新及输出,GRU 以不同的门控结构管理隐藏状态。门控和近似加性状态路径有助于较长时间保留梯度与信息,但不保证消除梯度消失、爆炸或学会任意长度依赖;书中将这些问题描述为完全避免,过于绝对。 门控循环网络缓解长依赖困难
原书依据 · 1 处
spine-230 第22章 循环神经网络
双向模型结合前后上下文;在线实时预测若未来输入不可用,就不能不加约束地使用反向信息。
双向 RNN 对同一序列分别按正向和反向计算状态,并在对应位置组合信息,因此能利用过去与未来的上下文。只有在完整序列或允许足够延迟时才能使用完整反向上下文;实时预测必须限制未来输入,避免训练与部署条件不一致。 双向序列模型需要未来上下文
原书依据 · 1 处
spine-231 第22章 循环神经网络
自回归生成每一步根据已有上下文产生下一项,再把选择结果送回;采样方式与上下文长度会改变生成结果。
字符级自回归模型根据已有上下文预测下一个字符,将生成字符加入上下文再重复。训练时可用真实前文构造输入,生成时则依赖自己的输出,误差会累积;随机采样或温度等解码策略会改变输出多样性与稳定性。词向量是向量表示,不能简化为给相似词分配相近整数编号。 自回归文本生成逐步反馈
原书依据 · 1 处
spine-232 第22章 循环神经网络
本章参考资料涉及循环网络、门控机制和序列生成应用,具体条目见概览。
spine-233 第23章 Keras第1部分
本章以 Keras 和 MNIST 示例介绍数据准备、建模和训练。
spine-234 第23章 Keras第1部分
本章使用旧版 Keras 及配套笔记本,执行前需核对当前后端、接口和依赖版本。
这一章以 MNIST 为例,把数据准备、模型构建、训练、评估与保存连接起来。书中示例使用 Keras 2.0.6,其导入路径和方法应视为历史版本;运行前需要核对所安装版本的接口和警告。
spine-235 第23章 Keras第1部分
先确认 Python 与库版本,再用小例子检查张量形状和异常;书中环境细节是出版时的背景。
成熟库提供自动微分、数值计算和硬件加速,能让建模者专注于问题定义;理解底层原理仍有助于诊断问题。遇到错误时,可以缩小到最小可复现输入,逐步检查张量形状、类型和调用结果。
spine-236 第23章 Keras第1部分
模型由层和参数构成,图像张量的批量、宽高、通道顺序应与层配置一致;旧版后端关系不应推断为当前支持矩阵。
模型可指网络结构,也可指结构连同已学习权重。图像批次还要明确通道位于前面还是后面:例如 channels-last 下单张 RGB 图是高×宽×3。书中 Theano、CNTK 等后端说明对应旧版 Keras,不应当直接当作当前安装指南。
spine-237 第23章 Keras第1部分
以手写数字作为例子,目标是通过完整流程理解输入、模型与输出,而不是把一次准确率当成通用性能。
MNIST 用 28×28 灰度图像和数字标签演示完整流程;它方便快速检查模型,却不能代表所有真实场景。即便是著名基准,也应检查样本、标签和划分,再决定其结果能支持什么结论。
spine-238 第23章 Keras第1部分
输入处理必须固定图像形状、类型、缩放与标签映射,并在训练和推理中复用;最终测试集不应参与这些参数的拟合。
训练和推理应使用同一套可复现的预处理,包括输入形状、数据类型、缩放和类别映射;需要从数据学习的变换只在训练集拟合,再应用于验证、测试与新数据。书中以训练和测试标签共同推断类别数,也将测试集用于逐轮验证;实际应预先定义类别空间并保留独立测试集。 训练推理共享预处理契约
原书依据 · 1 处
spine-239 第23章 Keras第1部分
模型结构确定可表达的映射,损失规定训练目标,优化器利用梯度更新;三者及标签表示需相互匹配。
搭建网络时先确认输入输出形状及任务,再选择匹配的损失函数、输出表达和优化器;监控指标用于衡量表现,通常不直接参与梯度更新。独热标签可配分类交叉熵,整数标签可配稀疏分类交叉熵;需明确输出是 logits 还是概率。 模型结构损失和优化器协同
原书依据 · 1 处
spine-240 第23章 Keras第1部分
训练前确认模型已编译,输入与标签形状匹配;批量大小和轮数影响计算成本与优化行为。
训练调用按小批量计算梯度和更新参数,一个 epoch 通常表示遍历训练数据一次。训练历史可记录损失与指标;验证数据用于监测和选择训练策略,应与最终只用于评估的测试数据分开。书中的示例实际把测试集放进逐轮验证,评估时应纠正。
spine-241 第23章 Keras第1部分
训练过程的验证曲线可用于诊断和选模。书中示例将测试集用于训练期间观察,这使其承担验证集角色,最终测试应另行保留。
训练准确率与验证损失提供不同信息:即使分类正确率不再变化,错误预测更自信也可能使交叉熵变大。观察曲线时要结合验证损失、目标指标和噪声,并在部署前用未参与调参的数据评估;少数真实照片只能作为定性示例,不能估算总体性能。
spine-242 第23章 Keras第1部分
只保存权重不一定能恢复优化器状态和训练进度;推理还需要一致的预处理、标签映射与版本信息。
保存用于部署的模型时,应同时保留权重、架构、输入输出契约、预处理和版本信息,并用已知输入测试加载后预测是否一致。若要恢复中断训练,还需检查优化器状态、训练进度和随机状态等是否被保存;仅权重通常不足以完全复现训练。书中 HDF5 与 YAML 示例具有旧版本背景。 保存模型与恢复训练状态
原书依据 · 1 处
spine-243 第23章 Keras第1部分
回调可监控验证指标并保存检查点或提前停止;恢复最佳模型与只停止在最后一轮是不同操作。
早停依据验证指标及最小改进幅度、耐心值决定何时停止;应明确是否恢复最佳权重,或配合保存最佳检查点。验证指标存在波动,耐心值需要匹配任务;最终测试集不应用于早停或反复挑选模型。训练停止的位置不一定是最佳权重的位置。 早停与最佳检查点
原书依据 · 1 处
spine-244 第23章 Keras第1部分
本章参考资料涉及历史 Keras 环境、数据集、模型保存和 Python;具体条目见概览。
spine-245 第24章 Keras第2部分
本章扩展到模型搜索、卷积网络、循环网络和函数式构图。
spine-246 第24章 Keras第2部分
本章在前章模型训练流程上,继续讨论实验、CNN、RNN 与函数式模型。
本章从单个模型扩展到超参数搜索、卷积和循环网络,以及允许分支与共享层的函数式模型。搜索过程仍然依赖合适的数据划分与明确的实验目标。
spine-247 第24章 Keras第2部分
对比层数、dropout 或学习率时应控制数据划分、训练预算和评价方法,并考虑随机种子带来的波动。
调参前明确优化目标及时间、内存等限制;在相同数据划分、预算与评估指标下比较配置并记录随机种子。单变量实验有助于理解局部影响,但超参数相互作用意味着它未必找到好的组合;多次试验与不同种子有助于辨别波动。 超参数实验要控制比较条件
原书依据 · 1 处
spine-248 第24章 Keras第2部分
交叉验证的每一折都必须在训练部分拟合预处理;旧版 Keras 包装器接口不能直接视为现行 API。
在每一折内仅用该折训练数据拟合标准化或其他有学习步骤的预处理,再转换训练折与验证折,随后训练和评分;将预处理器与模型放入流水线可确保这一顺序。搜索组合数乘折数估算训练次数,最终还需在独立测试集评估。书中旧版 Keras 包装器和 GridSearchCV 默认折数不宜照搬,应检查所用版本文档。 交叉验证流水线防止预处理泄漏
原书依据 · 1 处
spine-249 第24章 Keras第2部分
CNN 示例首先明确图像张量及卷积参数。增强只适用于保持任务标签的变化,并应在划分数据后用于训练部分。
训练时可通过合理的旋转、平移等生成图像变体,以提高对预期变化的适应性;变换须符合任务且保持标签,例如手写数字不宜随意镜像。先划分训练与验证、测试数据,再只增强训练集;评估使用代表实际输入的独立样本。合成数据可用于实验,但其覆盖范围和真实数据差距需要验证。 图像增强应保持任务标签
原书依据 · 1 处
spine-250 第24章 Keras第2部分
RNN 数据按批次、时间和特征组织;有状态训练尤其要求相邻批次的位置对应同一连续序列,并在边界重置状态。
有状态 RNN 可将一个批次每个位置的最终状态传给下一批次同一位置,因此必须保证对应位置属于连续片段,并在序列边界重置状态。仅关闭 shuffle 并不保证对齐;重叠窗口还可能重复输入。独立序列应隔离状态,具体批量限制与重置接口依框架版本确认。 有状态循环需要对齐批次
原书依据 · 1 处
spine-251 第24章 Keras第2部分
函数式 API 用张量连接构建计算图;复用同一个层实例会共享权重,独立实例则各有参数。书中示例的图连接错误应以实际代码检查。
函数式模型可以表达多输入、多输出和分支合并;将同一层对象用于多个计算路径会共享其权重,对其中一条路径的训练可能影响其他模型。需要独立参数时应创建或克隆独立层;连接前检查张量秩和形状,不能把 Dense 的二维输出直接当作二维卷积的四维输入。 函数式模型共享层的权重
原书依据 · 1 处
spine-252 第24章 Keras第2部分
本章参考资料涉及 Keras 历史示例、卷积与循环网络、生成器和超参数搜索,具体条目见概览。
spine-253 第25章 自编码器
作者用有损与无损压缩引出信息保留的取舍,再比较直接叠加原始内容与混合生成参数。潜在表示中的插值可能形成过渡,但是否有语义意义要由模型和数据决定。
spine-254 第25章 自编码器
自编码器学习把输入映射到表示并重建;重建相似不保证表示包含任务所需的全部信息。
自编码器把输入映射到潜在表示,再尝试还原或去噪;变分自编码器进一步为潜在变量引入概率模型,以支持从先验采样生成数据。潜在表示有用与否仍取决于训练目标和数据。
spine-255 第25章 自编码器
压缩是否保留全部信息取决于编码方式;有损编码以可接受的失真换取更短表示。
无损编码允许准确恢复原始信息,有损压缩则在大小与重建质量之间取舍。作者还区分直接叠加内容和在参数空间插值:后者的效果依赖参数是否保存了可解释的结构,压缩后的任意数字并不天然适合混合。
spine-256 第25章 自编码器
编码器把输入映射为潜在表示,解码器从表示重建输入;瓶颈和损失共同限制系统学习的内容。
自编码器用编码器将输入映射到潜在表示,再用解码器重建输入,并优化重建损失。瓶颈可迫使模型保留有用信息,但单个样本的重建成功可能只是参数记忆;评估需使用未见数据,并在实际压缩场景计入模型、潜变量精度及存储开销。普通自编码器通常归为无监督或自监督学习,书中称半监督并非常用定义。 自编码器学习重建输入
原书依据 · 1 处
spine-257 第25章 自编码器
增加层和容量可能改善训练重建,但仍须用未见数据与任务指标检查泛化。
作者比较不同瓶颈大小和网络深度:较窄瓶颈限制可传递的信息,而更强的编码器与解码器可能改善同一瓶颈下的重建。结论来自特定 MNIST 示例,不能认为增加深度总会改善泛化。
spine-258 第25章 自编码器
潜在坐标插值可以生成中间重建,但普通自编码器未保证潜在空间每一点都对应有效样本。
普通自编码器只对训练数据附近的潜在表示受到直接训练,随机采样或线性插值可能落入低密度区域,解码结果不一定有效。可视化潜变量有助于理解局部结构,但二维投影或少量样例不能保证高维空间具有清晰类别边界。 潜在空间插值不保证有效
原书依据 · 1 处
spine-259 第25章 自编码器
线性自编码器与 PCA 的对应依赖结构、损失与约束,不能推广到所有非线性自编码器。
线性自编码器在特定条件下与 PCA 的主子空间有联系;例如线性编码与解码、平方重建误差和适当优化条件。一般的非线性深层自编码器并不必然等同 PCA。
spine-260 第25章 自编码器
卷积自编码器利用空间局部结构;其重建与插值结果仍依赖训练分布和瓶颈设计。
卷积自编码器利用局部结构逐步缩小空间表示,再通过上采样或其他解码操作重建图像。与全连接结构相比,它的潜在张量保留空间位置;随机潜在值仍可能落在训练未覆盖的区域。
spine-261 第25章 自编码器
降噪目标要求明确噪声模型和目标数据;在一种噪声上有效不保证对任意噪声都能恢复真实内容。
降噪自编码器用受扰动样本作输入、对应干净样本作目标,学习在训练噪声分布下重建信号。瓶颈不一定要小于输入;部署时噪声类型或强度改变可能影响效果,应在独立样本与实际噪声上评估细节损失。 降噪自编码器学习噪声到干净目标
原书依据 · 1 处
spine-262 第25章 自编码器
VAE 的重建项和 KL 项共同训练编码器与解码器;KL 比较近似后验与先验,而不是比较编码器与解码器。
变分自编码器令编码器估计近似后验 q(z|x),使用 z=μ(x)+σ(x)⊙ε、ε∼N(0,I) 从中采样,使梯度可通过 μ 和 σ 传播。常见目标结合重建项与 KL(q(z|x)‖p(z)),后者鼓励近似后验接近选定先验;书中将 KL 解释成编码器与解码器之间的差异并不正确。训练只鼓励而不保证类别分离、平滑插值或每个随机样本都有效。 VAE通过先验正则化潜在分布
原书依据 · 1 处
spine-263 第25章 自编码器
VAE 从潜在先验采样后由解码器生成数据;样本质量和覆盖度需要另行评估。
VAE 的编码器为每个输入给出潜在分布,从中采样再解码;训练同时考虑重建目标和后验与先验的 KL 散度。作者以 MNIST 插值和随机生成展示潜在空间,结果说明这一具体模型有一定连续性,并不保证所有采样和类别都清晰。
spine-264 第25章 自编码器
参考资料涵盖自编码器、VAE、降噪和压缩格式,具体条目见概览。
spine-265 第26章 强化学习
本章介绍智能体与环境交互、奖励和强化学习算法。
spine-266 第26章 强化学习
强化学习关注行动改变后续状态的序列决策,评价常涉及长期累计奖励。
强化学习处理行动会影响后续处境的任务:智能体选择动作,环境返回奖励和新的状态或观测。奖励表达任务目标,延迟结果意味着早先动作的贡献需要通过学习过程分配。
spine-267 第26章 强化学习
目标应定义为可观察的奖励和任务终止条件;即时奖励未必与长期结果一致。
电梯调度和游戏说明,最优行为取决于长期结果及环境变化,而不是只看某一步的即时反馈。可以用一局游戏作为一条轨迹,记录每步状态、动作、奖励和后续状态,再根据目标改进策略。
spine-268 第26章 强化学习
折扣因子控制未来奖励权重,不必解释为环境可重复的概率;探索有助于获得信息,利用则依据当前估计选择动作。
强化学习的智能体根据状态或观测选择动作,并从环境获得奖励和后续观测。折扣回报将未来第 k 步奖励乘以 γ^k;γ 决定未来奖励的权重和有效规划范围,不能简单解释为环境可重复性的概率。探索尝试未知动作,利用选择当前估计最优动作,二者的取舍影响学习。 折扣回报与探索利用
原书依据 · 1 处
spine-269 第26章 强化学习
简化翻转棋便于枚举状态和动作,但现实任务可能有更大的状态空间和不确定性。
作者用简化的翻转棋作为表格算法例子:每个格子只有两种状态,动作翻转一个格子,目标是尽快形成指定的一行或一列。这个有限环境便于观察学习规则,但它不代表现实问题的状态空间和风险。
spine-270 第26章 强化学习
作者的 L 学习是简化教学规则,单次经验直接覆盖估计在随机环境中不稳定,不能当作通用的强化学习算法。
作者自造的 L 学习把一次游戏的回报直接覆盖对应状态动作的旧值。它帮助展示表格和值的作用,但在随机环境中单次偶然结果可能覆盖许多经验;这引出后续对增量更新和未来价值估计的讨论。
spine-271 第26章 强化学习
Q 学习的贪婪目标与产生数据的探索策略可以不同;这称为离策略,不是书中所暗示的更新错误。
表格 Q 学习使用目标 r+γ max_a Q(s′,a),以步长 α 将 Q(s,a) 朝该目标更新;终止状态不再引导后续价值。max 是目标策略的贪婪选择,实际采样可采用探索行为策略,因此它是离策略方法。收敛结论依赖有限表格、充分访问、适当步长等条件,不能推广为任意设置必然收敛。 Q学习的离策略更新
原书依据 · 1 处
spine-272 第26章 强化学习
SARSA 的更新目标使用实际选出的下一动作;Q 学习使用目标策略的最大值,离策略本身不是错误。
SARSA 使用行为策略选出的下一动作 a′,以 r+γQ(s′,a′) 作为更新目标,因此学习的是当前行为策略的价值;Q 学习用下一状态的最大 Q 值作为目标。两者目标不同,Q 学习的最大值并非计算错误;谁更适合取决于探索、风险与任务。 SARSA按实际策略自举
原书依据 · 1 处
spine-273 第26章 强化学习
深度网络可近似价值或策略以处理大状态空间,但也增加采样相关性和训练稳定性问题。
表格方法的存储随状态和动作组合迅速增长。深度强化学习可用参数化函数近似价值或策略,减少显式枚举,但也引入函数逼近、采样相关性与训练稳定性等问题,并不自动保证正确或收敛。
spine-274 第26章 强化学习
回放提高数据复用并改变样本相关性;更新方向依目标和当前估计,不能保证每次回放都提高价值。
经验回放把状态、动作、奖励、下一状态及终止标记保存到缓冲区,再从中抽样更新模型,可提高数据利用率并降低连续样本相关性。回放并非必然提高每个动作的价值:更新方向取决于目标与当前估计;采样分布、缓冲区大小和数据过时也会影响效果。 经验回放复用历史转移
原书依据 · 1 处
spine-275 第26章 强化学习
不同应用都需要定义状态、动作和反馈;书中围棋和渲染案例的效果受具体模型与计算条件限制。
作者举出围棋自我对弈和图形渲染中的采样选择,说明强化学习不局限于棋盘。两者都必须把问题转成状态、可用动作和反馈,同时明确模型近似以及实际计算资源的限制。
spine-276 第26章 强化学习
本章参考资料覆盖强化学习理论、经验回放及围棋和图形应用,具体见概览。
spine-277 第27章 生成对抗网络
本章介绍以生成器和判别器竞争来生成样本的方法。
spine-278 第27章 生成对抗网络
GAN 把生成样本与真实样本的比较引入训练:生成器尝试产生以假乱真的数据,判别器学习区分两类样本。训练后通常保留生成器,用来从潜在输入产生新样本。
spine-279 第27章 生成对抗网络
GAN 由生成器从潜在噪声生成样本,判别器学习区分真实与生成样本;生成器通过判别器提供的可微目标改进生成分布。通常交替优化两者:训练生成器时冻结判别器参数但仍让梯度穿过判别器。书中的硬分类对错只是类比,实际常用连续损失,不仅在分类错误时才更新。 生成器与判别器的对抗目标
原书依据 · 1 处
spine-280 第27章 生成对抗网络
对抗的含义是两个目标相互牵制:判别器希望提高区分能力,生成器希望提高生成样本的判别分数。两者交替更新需要平衡,但博弈的理想均衡并不意味着实际训练一定能达到均衡。
spine-281 第27章 生成对抗网络
GAN 的损失反映当前生成器与判别器之间的竞争,具体数值取决于目标函数、实现和训练状态;判别器难以区分样本并不单独证明生成分布已匹配真实数据。应结合样本质量、多样性、独立评估及训练动态判断,也要检查是否记忆训练样本。 GAN损失不能单独证明生成质量
原书依据 · 1 处
spine-282 第27章 生成对抗网络
二维高斯点云例子把生成器输出视为点,通过对比真实和生成点来观察训练过程。小批量便于估计训练损失,但普通判别器未必直接把整批当作一个联合输入;可视化的几轮效果不能证明分布已经完全匹配。
spine-283 第27章 生成对抗网络
DCGAN 用卷积结构处理图像:判别器逐步提取并压缩特征,生成器把潜在输入变为图像。架构和超参数经验法则是实验起点,不能保证在其他数据和实现中同样有效。
spine-284 第27章 生成对抗网络
模式崩溃是生成器覆盖真实分布的模式不足,例如不同噪声输入生成近乎相同的图像。需要同时检查质量和多样性,不能只挑选少量好图;调整目标、训练平衡或采用多样性方法可能改善,但单纯使用小批量不保证消除崩溃。 GAN模式崩溃减少多样性
原书依据 · 1 处
spine-285 第27章 生成对抗网络
本章参考资料涵盖 GAN 与博弈训练、生成示例及相关实现,逐项见概览。
spine-286 第28章 创造性应用
本章探索网络特征可视化、图像风格迁移与文本生成。
spine-287 第28章 创造性应用
本章把已经训练好的网络当作特征提取器,通过调整输入图像而非更新模型权重,探索过滤器可视化、DeepDream 和风格迁移。生成结果受模型训练数据、选择的层和优化目标共同影响。
spine-288 第28章 创造性应用
为了观察模型偏好的输入,可以固定预训练网络参数,对输入像素做梯度上升以提高指定神经元或层的激活。结果揭示该优化目标下模型容易响应的模式,但依赖初始化、正则化和选定目标,不能单凭可视化证明模型具有人类概念或因果理解。 激活最大化优化输入而非权重
原书依据 · 1 处
spine-289 第28章 创造性应用
DeepDream 从现有图像出发,选择一个或多个网络层,把激活加权作为优化目标,再沿输入梯度调整像素以增强响应。层的选择与权重会改变被强调的图案,得到的视觉结果是对模型响应的创作性操作。
spine-290 第28章 创造性应用
经典神经风格迁移固定特征网络,用内容图与生成图的中间特征差构造内容损失,用风格图与生成图的特征 Gram 矩阵差构造风格损失,并按权重优化生成图像的像素。Gram 矩阵汇总通道特征的空间相关统计,不等于对艺术风格的完整定义;层选择、权重与初始化影响结果。 风格迁移匹配特征统计
原书依据 · 1 处
spine-291 第28章 创造性应用
作者还用本书文本训练循环网络,逐词生成语句。样本可以模仿局部词序或词汇风格,但看似通顺的片段不保证整体语义连贯或事实正确。
spine-292 第28章 创造性应用
本章参考资料涵盖特征可视化、艺术风格、神经风格迁移及相关实现,逐项见概览。
spine-293 第29章 数据集
本章列举公共数据集入口,并提醒读者检查数据质量和使用限制。
spine-294 第29章 数据集
选用公开数据集前,核对来源、许可范围、标签质量、缺失与重复、数据采集时间和人群,并评估它与目标场景的差异。基准数据易于比较方法,但高分不保证真实环境表现;具体数据集规模、接口与许可会变化,使用时应核对维护方文档。 选用公开数据先核验范围和许可
原书依据 · 1 处
spine-295 第29章 数据集
Fashion-MNIST 与 MNIST 具有类似的图像尺寸和类别形式,可用作增加难度的基准;它仍是受控数据集,不能代替对目标场景的独立测试。
spine-296 第29章 数据集
作者列出旧版 scikit-learn 和 Keras 提供的数据集作为入口。书中若干数量、接口和可用性存在年代差异;实际使用前应核对当前维护方的数据说明、划分、许可与已知问题。
跨章综合
从概率到可靠评估
概率描述不确定事件,条件概率进一步说明在已知证据时如何改变判断。分类器输出的分数、阈值和混淆矩阵都是评估工具,但它们回答的问题不同:一个分数能否排序样本,与它能否作为可靠概率使用,并不是同一个问题。基础比例改变时,即使测试的灵敏度不变,阳性结果的解释也可能改变。
在建模过程中,数据预处理也属于学习系统的一部分。使用全体数据拟合缩放器后再交叉验证,会把验证折的信息带入训练;将变换器放在每折内拟合的流水线中,可以让验证更贴近未来推理条件。验证集用于选择模型,最终测试集用于估计确定后的方案在未见数据上的表现。
从局部导数到网络训练
前馈网络可看成带依赖关系的计算图。正向过程依次产生中间值和预测;损失衡量预测与目标的差异;反向传播沿计算图应用链式法则,求出参数对损失的局部影响;优化器才利用这些梯度更新参数。初始化、激活函数和学习率影响信号及梯度能否有效传播,因此训练失败不能只归咎于某一个环节。
从表示学习到生成和决策
卷积层让同一局部过滤器在不同位置共享权重,循环层则让状态随序列更新。自编码器把输入压入潜在表示并尝试重建;VAE 给潜在表示引入分布和先验约束,GAN 则借助判别器提供生成目标。它们对数据结构和训练目标的假设不同,不能用单一的生成样例比较优劣。强化学习还多了行动影响未来数据这一因素,需要把奖励定义、探索和长期后果纳入设计。
限制与使用
书中的图示适合建立直觉,但多个例子把局部近似、版本行为或特定实验结果说得过于普遍。阅读笔记保留了这些位置的修正:例如 VAE 的 KL 项比较近似后验与先验,Q 学习的贪婪目标是离策略设计,测试集不能反复用于模型选择。实际应用还应核对数据许可、代表性、漂移及对受影响者的影响。
读者延伸与实践
以下为尚未执行的学习计划:一是追踪 scikit-learn 流水线与交叉验证,理解每折预处理的边界;二是追踪 Keras 的 LSTM 状态和门,核对图示与实现的联系。两份计划及已核验入口见概览的实践卡进度,全书筛选后优先保留这两个相互补充的源码计划;GAN 或 VAE 的实验可在明确数据、计算资源和评价方法后另行开展。