来源书籍

破解深度学习(基础篇)_模型算法与实现

Skill 版本:未记录版本 159 张卡片

瞿炜;李力;杨洁 · 人民邮电出版社 · 2024-10 · ISBN 9787115651037

全书导读与主线

本书从机器学习任务出发,先补充矩阵、微积分与概率,再用神经网络和反向传播解释模型怎样从样本中调整参数。训练误差下降并不意味着新数据表现一定好,泛化和数据划分因此与优化同样重要。卷积利用图像局部性,循环网络传递序列状态,注意力则根据输入动态汇聚信息;这些结构为不同数据关系提供不同归纳偏置。

阅读时可先掌握输入、预测、损失、梯度与更新的基本链路,再按问题类型选择图像或序列章节。书中例程用于教学,部分评估和实现存在局限,应结合每章说明核验。

前言

本书希望降低深度学习入门的数学与编程门槛,结合生活类比、图示和可运行代码解释模型。作者先安排数学和工具准备,再讲网络、泛化与优化,最后介绍卷积、循环和注意力模型。前言主要说明读者对象及组织方式,没有另成知识卡。

第1章 欢迎来到深度学习的世界

神经网络通过多层变换表达复杂函数。神经网络的逼近能力区分表达能力与实际优化能否成功。

深度学习可处理图像、语音和语言,也可将不同能力组合到同一应用中。多模态融合的分工以虚拟主播为例说明各项技术的作用。

网络的深度体现在隐藏层的层数;全连接层在相邻层之间建立连接,层次增加也带来参数与计算开销,详见网络深度与参数。卷积网络处理图像、循环网络处理序列、注意力选择信息分别介绍图像、序列与信息选择的入门视角,后文再详述。

语音技术既有把声音转为文本的识别,也有从文本生成声音的合成,详见语音识别与合成。知识图谱表示关系用实体及其关系组织知识。多种技术可以组合服务于同一个应用。

书中以 Python、PyTorch 和交互式 Notebook 作为学习工具;交互式笔记本说明其文档和运行结合的方式。

书中还用示意图引出生成模型,生成对抗网络的角色和变分自编码器的角色分别展示生成与判别、编码与解码的角色。这里是入门图解,完整训练方法留待后续学习。

进一步阅读:非线性特征变换;图像超分辨率。

原书依据 · 13 处

第2章 必要的数学预备知识

深度学习使用线性代数表示数据与计算,用微积分求参数变化对损失的影响,并用概率统计描述不确定性。线性代数部分先从数值对象入手:标量是单个数,向量是一组有序数,矩阵按行列组织数值,张量将这种表示扩展到多个轴。矩阵还可表达保持加法和数乘的线性变换;一组线性方程可共同约束多个变量,详见线性方程组描述约束。具体见线性变换保持组合、向量表示有序数据、矩阵表示二维数据、张量的轴与形状。

向量的维数与大小不同,范数衡量大小;点积把两个等长向量映射为一个数,叉积在三维空间中产生垂直方向的向量。矩阵转置交换行列;矩阵乘法按左行和右列求点积,结果形状由外侧维度确定。逐元素乘积与矩阵乘法是不同运算。具体可参阅向量维数与范数、向量点积与方向、三维向量叉积、矩阵转置交换行列、矩阵乘法与形状、矩阵内积与逐项乘积。

微积分以极限描述变化趋势,导数给出瞬时变化率,微分提供局部线性近似。多变量情况下,偏导数沿坐标方向衡量变化,梯度把偏导数组成向量;链式法则则把复合函数的局部变化连接起来,是后续反向传播的基础。

概率描述不确定事件;统计常从样本推断总体。条件概率在已有条件下衡量事件概率,贝叶斯公式把先验和观测联系起来;最大似然则固定数据寻找使其似然最大的参数。连续密度需要对区间积分才能得到区间概率。原书对互斥与独立、极限和驻点的部分说法有误,相关卡片说明了边界。参阅极限描述附近趋势、导数与局部变化、微分是局部线性近似、偏导数与梯度、复合函数链式法则、概率与统计的方向、事件独立与互斥、离散概率与密度、条件概率与贝叶斯、最大似然估计。

概率事件是一组可能结果;有限且等可能的结果下,可用有利结果数除以总数计算事件概率(等可能样本空间、概率事件表示结果)。随机变量将随机结果映射到数值,分布描述这些数值的概率规律;正态分布只是可能的模型之一。频率和贝叶斯视角分别强调抽样表现与先验、数据的更新。联合概率表示事件同时发生,不能除以事件并集来计算。详见频率与贝叶斯视角、随机变量与分布、联合概率与条件、正态分布的参数。

训练时可沿负梯度方向调整参数,学习率控制更新幅度;分类交叉熵基于真实类别的对数概率,书中 0.1 对应损失 0.9 的例子不正确。书中只提及克罗内克积的名称,没有展开计算规则。参阅梯度下降更新参数、常见函数求导、交叉熵与预测概率。

原书依据 · 30 处

第3章 环境安装和工具使用

本章把环境搭建拆为硬件和驱动、包与环境管理、交互式编辑以及深度学习框架四层。GPU 是计算硬件,CUDA 提供 NVIDIA GPU 的计算平台,PyTorch 是使用计算资源的框架;没有合适 GPU 时可考虑 CPU。选择软件前应确认环境兼容,书中的具体版本和安装界面是历史示例。

conda 通过独立环境管理 Python 与依赖;创建环境后激活,再安装和检查需要的包。Notebook 作为服务运行,浏览器提供交互界面,单元可分别执行并混合文字和公式。最后在目标环境导入 PyTorch、创建张量,并在需要 GPU 时检查 CUDA 可用性。相关操作见CUDA驱动兼容检查、conda环境隔离、conda包管理、启动笔记本服务、笔记本单元与快捷键、PyTorch与GPU分工、验证PyTorch运行环境。

原书建议下载失败时把 HTTPS 换成 HTTP;这会失去传输保护,不应直接照搬。安装命令和兼容关系应核对当前官方说明。补充操作可见conda复制与删除环境、Markdown记录结构。

原书依据 · 9 处

第4章 深度神经网络:误差倒查分解

人工神经元先对输入加权并加偏置,再经过激活函数;多层感知机把这些计算组织为前馈层。没有非线性时,多层仿射变换仍能合成一个仿射变换,因此单靠叠层不能表达复杂的非线性边界。Sigmoid、tanh 和 ReLU 以不同方式引入非线性,各有饱和或失活等局限。

多分类中,Softmax 把一组分数归一化为和为一的概率估计;损失函数再衡量预测与目标的差距,为训练提供目标。书中把反向传播类比下山,严格说反向传播负责计算梯度,参数更新由优化算法完成。参阅人工神经元的计算、多层仿射仍是仿射、多层感知机的结构、Sigmoid激活与饱和、Tanh激活的范围、ReLU与失活、Softmax归一化分数、损失函数衡量误差。

前向传播依次计算各层输出,均方误差等损失衡量偏差;反向传播则依据链式法则从损失向前计算参数梯度,分支上的梯度贡献需要求和。优化器使用这些梯度更新参数,二者分工不同。

手写数字示例把样本交给 Dataset 和 DataLoader 分批,依次定义网络、损失和优化器,再循环执行前向计算、清梯度、反向传播和更新;测试阶段关闭梯度计算并统计预测正确率。示例输出是未归一化分数,原书称其为概率并不准确。参阅前向传播计算预测、均方误差衡量偏差、反向传播计算梯度、数据集与批量加载、训练循环的更新顺序、分类评估与原始分数。

回归预测数值。线性回归选择直线或多特征线性模型,最小化预测与观测的残差平方和;多项式回归可将 x² 等作为新特征,形成对参数线性的曲线模型。正规方程的矩阵逆有可逆条件,梯度下降提供迭代求解思路。

分类预测类别。独热向量表示真实类别,Softmax 将类别分数转为概率;示例将 logits 直接交给交叉熵损失。评估时应区分用于调参的验证集和最终测试集。参阅线性回归的最小二乘、多元回归的矩阵表达、多项式特征与回归、参数初始化影响训练、独热标签与类别概率、Softmax回归与交叉熵、训练验证与测试区分。

参数起点和模型保存方法进一步见按激活选择初始化、保存训练后的模型。

原书依据 · 23 处

第5章 常见挑战及对策:一切为了泛化能力

训练目标不只是让模型记住训练样本,还要让它在新数据上表现良好。欠拟合可能表现为训练与验证都差;过拟合则可能表现为训练好、验证差。数据增强、适当模型复杂度、验证集、交叉验证和提前停止从不同角度改善选择和训练,但都不能保证泛化。

正则化在目标或训练过程中施加约束。L1 倾向稀疏,L2 平方惩罚倾向缩小权重;权重衰减在普通 SGD 下可与 L2 对应,采用自适应方法时需要区分。Dropout 在训练时随机屏蔽激活,评估时关闭;书中对 p 的定义前后不一致,应以所用接口为准。

深层反向传播可能使梯度连乘变小或变大。梯度裁剪主要限制过大更新,批归一化调整激活尺度,残差连接提供额外传播路径;这些方法都不保证完全消除问题。最后,保存参数并在相同模型结构中恢复,可减少训练中断损失并复用模型。参阅泛化与过欠拟合、数据增强的假设、训练验证测试分工、交叉验证轮流留出、提前停止控制拟合、正则化约束学习、L1与L2惩罚区别、权重衰减与L2、Dropout随机掩码、梯度消失与爆炸、梯度裁剪限制更新、批归一化的步骤、残差连接提供捷径、保存与恢复参数。

选择模型必须结合任务和数据;评估模式与是否记录梯度也要分别控制。进一步参阅模型选择依赖问题、评估模式与梯度开关、保存与读取张量。

原书依据 · 17 处

第6章 梯度下降算法及变体:高效求解模型参数

优化算法调整参数以降低训练目标;机器学习还关心目标分布上的真实风险。训练样本上的经验风险只是其估计,交叉熵等替代损失也不能代替对最终任务指标的评估。非凸目标可能存在局部最小、鞍点和陡峭区域;凸性有助于判断局部与全局最小的关系,但并不单独保证最小值存在或任意步长都收敛。

从概率角度,固定方差高斯噪声下的最大似然对应最小平方误差;最大后验在似然之外引入先验,负对数先验形成某些正则化项。Jensen 不等式比较先取期望与先变换;它给出界,而不保证最小化下界即最小化原目标。

梯度下降用梯度方向和学习率更新参数。批量、单样本和小批量方法使用不同数量样本估计梯度;动量利用历史方向,AdaGrad 累积平方梯度,RMSProp 使用衰减平均,AdaDelta 还利用更新历史,Adam 结合一阶和二阶矩。学习率调度按时间调整步长,也可先预热。

书中实验的训练和测试加载器都绕过子集索引而引用完整数据,不能作为独立测试结果;预热代码的倍率上限也不符合文字描述。参阅经验风险与真实风险、替代损失与目标指标、病态与优化速度、局部最小与鞍点、凸函数与最小值、Jensen不等式、高斯误差与最小二乘、最大后验与正则化、后验分布与点估计、学习率影响下降、批量与随机梯度、动量累积梯度方向、AdaGrad累积平方梯度、RMSProp近期平方平均、AdaDelta利用更新历史、Adam的两种矩估计、学习率调度与预热、数据子集误用导致泄漏、预热代码上限错误。

原书依据 · 19 处

第7章 基础卷积神经网络:图像处理利器

全连接网络对图像局部结构没有直接的约束,参数也可能随输入大小迅速增加。卷积层使用局部窗口,并在不同位置共享核参数,得到特征图;实际深度学习框架通常计算互相关,数学卷积则还涉及核翻转。多个通道与滤波器共同决定输入和输出的特征维度,堆叠层后,一个输出可受更大输入区域影响,即感受野扩大。

填充和步长共同控制特征图大小;不能简单断言步长为二就总使输出正好减半。分组卷积限制跨组连接以减少参数。池化对局部窗口取最大值或平均值,在压缩信息的同时损失细节。等变性是输入变化时输出对应变化,不变性是输出保持不变;实际边界、步幅和池化使这些性质有条件或仅近似成立。

LeNet 示例将卷积、激活、池化和全连接层串联,用手写数字数据训练分类模型。输入尺寸改变会改变中间特征图与展平后的维数,故需逐层核对。参阅全连接与图像局部性、卷积与互相关、卷积核提取特征、卷积感受野、局部连接与参数共享、等变性与不变性、卷积填充与步长、卷积输出尺寸计算、多通道卷积与滤波器、分组卷积减少连接、最大池化与平均池化、LeNet尺寸流转。

原书依据 · 12 处

第8章 基础循环神经网络:为序列数据而生

序列建模处理有先后关系的数据。文本预处理将文本切成词元并构造词表;词袋舍弃顺序,N-gram 保留局部顺序,词嵌入学习稠密表示。RNN 在各时间步共享参数,用状态传递历史;沿时间反向传播时同时汇合当前输出与后续状态的梯度,长依赖可能遭遇梯度消失或爆炸。

时间序列示例用六步窗口预测下一点;原书所谓验证循环仍使用训练加载器,因此曲线不能证实独立泛化。编码器—解码器将输入映射为中间表示后逐步生成输出,可处理不等长序列;BOS、EOS、训练与生成的输入差异及未知词都必须明确。贪心搜索只保留一个前缀,束搜索保留多个但仍是近似搜索。书中 Seq2Seq 示例未知词与 BOS 混用,且评估可能漏计过长输出。

参阅序列与时间建模、文本预处理应服务任务、词干提取与词形还原、词袋模型丢失顺序、N元词组保留局部次序、词嵌入与预训练、循环状态与参数共享、时间反向传播的梯度汇合、循环网络的长期依赖、时间序列滑动窗口、预测实验验证集核对、编码器解码器分工、序列生成边界标记、教师强制与推理差异、贪心与束搜索、序列概率与对数损失、序列例程的未知词与评估。

原书依据 · 17 处

第9章 注意力神经网络:赋予模型认知能力

注意力根据查询与键的相关性产生动态权重,再汇聚值;编码器—解码器模型因此可以在每步访问不同的源位置。缩放点积公式为 softmax(QKᵀ/√dₖ)V,多头机制用不同投影并行获取多个表示。自注意力发生在同一序列内,权重矩阵通常不对称;稠密计算通常随序列长度二次增长,热图也不能直接当作因果解释。核回归示例将距离映射成归一化权重,与平均汇聚作对照。

原始 Transformer 编码器包含自注意力与逐位置前馈层,解码器还使用因果自注意力和编码器—解码器注意力;位置编码、残差、归一化和输出投影共同构成模型。填充掩码和因果掩码解决不同的信息遮蔽问题。注意力是机制,Transformer 是架构,并非同义。

原书代码存在需要修正的具体问题:位置表按词元 ID 而非位置索引,LayerNorm 在 forward 中临时创建,解码输入和评估不对应真实自回归生成。书中示例损失曲线及测试分数因此不能单独证明模型能力。参阅注意力与固定向量瓶颈、查询键值与加权汇聚、缩放点积注意力、注意力维度与方向、注意力分数函数、全局与局部注意力、自注意力的计算代价、多头注意力分工、注意力权重不是因果解释、核回归与注意力池化、Transformer编码器与解码器、位置编码提供次序、因果掩码与填充掩码、残差与层归一化、输出投影与交叉熵、位置编码示例中的索引错误、模型层应在初始化中注册、解码输入与生成评估、注意力机制与模型架构。

原书依据 · 19 处

跨章综合

数学中的导数和链式法则给反向传播提供计算规则;反向传播求出损失对参数的梯度,而优化器决定如何根据梯度调整参数。两者是不同职责:即使优化充分,训练数据和目标不代表实际环境,也不能推出模型会泛化。验证集、正则化与模型选择因此需要与训练过程一起设计。

全连接、卷积、循环和注意力共享以损失驱动参数学习的框架,但编码数据关系的方式不同:卷积共享局部核,循环在时间步传递状态,注意力按查询动态汇聚值。注意力可与编解码结构组合,Transformer 则把多头注意力与前馈、位置和掩码组织起来。评估任何一种结构时都要防止未来信息泄漏,并比较独立数据上的适当基线。

读者延伸与实践

下面是计划而非已完成的实验:《深读自动求导》实践卡 将链式法则和梯度汇合映射到 PyTorch;《深读多头注意力》实践卡 追踪投影、形状和掩码。

生成进度与管理记录

《破解深度学习(基础篇)_模型算法与实现》概览

执行模式:light

Skill 版本:book-notes v24

建档进度:完成

评级:经典原理(高信息浓度、高稳定性)。链式法则与反向传播解释梯度计算,卷积的参数共享和注意力的动态加权解释模型机制;这些原理可跨框架迁移。安装步骤与具体示例代码会过时,书中部分论断和实现亦需核对。

整书笔记

章节进度追踪表

章节号 章节标题 状态 卡片数
前言 前言 done 0
第01章 第1章 欢迎来到深度学习的世界 done 13
第02章 第2章 必要的数学预备知识 done 30
第03章 第3章 环境安装和工具使用 done 9
第04章 第4章 深度神经网络:误差倒查分解 done 23
第05章 第5章 常见挑战及对策:一切为了泛化能力 done 17
第06章 第6章 梯度下降算法及变体:高效求解模型参数 done 19
第07章 第7章 基础卷积神经网络:图像处理利器 done 12
第08章 第8章 基础循环神经网络:为序列数据而生 done 17
第09章 第9章 注意力神经网络:赋予模型认知能力 done 19

非正文排除

spine项 类型 排除理由
cover.xhtml 封面 书名展示,无正文
copyright.xhtml 版权 出版元数据,无讲解正文
qz03.xhtml 内容提要 书籍摘要,不另述知识
qz03_0001.xhtml 作者简介 履历介绍
qz03_0003.xhtml 资源与支持 资源领取与联系信息
daima.xhtml 字体许可 SIL 字体许可文本

待关联术语

术语名 出现章节 一句话语境
机器翻译 第01章 自然语言处理的应用
智能客服 第01章 自然语言处理应用举例
Python 第01章 书中使用的编程语言

| MNIST | 第01章 | 书中仅提及作为数据集、模型或工具示例 | | Flowers102 | 第01章 | 书中仅提及作为数据集、模型或工具示例 | | Twenty Newsgroups | 第01章 | 书中仅提及作为数据集、模型或工具示例 | | Kaggle | 第01章 | 书中仅提及作为数据集、模型或工具示例 | | GLUE | 第01章 | 书中仅提及作为数据集、模型或工具示例 | | AlexNet | 第01章 | 书中仅提及作为数据集、模型或工具示例 | | BERT | 第01章 | 书中仅提及作为数据集、模型或工具示例 | | GPT | 第01章 | 书中仅提及作为数据集、模型或工具示例 | | PyCharm | 第01章 | 书中仅提及作为数据集、模型或工具示例 | | Visual Studio Code | 第01章 | 书中仅提及作为数据集、模型或工具示例 |

| 克罗内克积 | 第02章 | 仅提及名称与符号,未展开计算 | | NumPy | 第02章 | 数值计算库 |

| VGG | 第01章 | 后续内容或发展示例,仅提名 | | GoogLeNet | 第01章 | 后续内容或发展示例,仅提名 | | ResNet | 第01章 | 后续内容或发展示例,仅提名 | | DenseNet | 第01章 | 后续内容或发展示例,仅提名 | | 深度RNN | 第01章 | 后续内容或发展示例,仅提名 | | 双向RNN | 第01章 | 后续内容或发展示例,仅提名 | | GRU | 第01章 | 后续内容或发展示例,仅提名 | | LSTM | 第01章 | 后续内容或发展示例,仅提名 | | 蒙特卡洛方法 | 第01章 | 后续内容或发展示例,仅提名 | | 变分推断 | 第01章 | 后续内容或发展示例,仅提名 | | 扩散模型 | 第01章 | 后续内容或发展示例,仅提名 |

| 支持向量机 | 第04章 | 核方法作为非线性映射示例 |

| Nadam | 第06章 | 优化算法发展示意中仅提名 | | AdaMax | 第06章 | 优化算法发展示意中仅提名 | | AMSGrad | 第06章 | 优化算法发展示意中仅提名 | | Nesterov动量 | 第06章 | 优化算法图与代码中出现但未展开 |

| Sobel核 | 第07章 | 图像边缘特征检测核,仅提名 | | Prewitt核 | 第07章 | 图像边缘特征检测核,仅提名 | | 中值池化 | 第07章 | 其他池化策略,仅提名 | | 随机池化 | 第07章 | 其他池化策略,仅提名 |

引用文献

标题 类型 出现章节 一句话语境
Attention Is All You Need 论文 第01章 Transformer 与自注意力的发展背景
TensorFlow 框架 第01章 深度学习框架示例
PyTorch 框架 第01章 本书选用的深度学习框架
PaddlePaddle 框架 第01章 深度学习框架示例

资金安全问题案例

问题标题 问题卡 解决方案卡 出现章节 一句话说明

实践卡进度

序号 实践标题 实践方式 状态 关联章节 产出

| 001 | 深读自动求导 | 实现深读 | done | 第4、8章 | 实践卡 | | 002 | 深读多头注意力 | 实现深读 | done | 第9章 | 实践卡 |

实践候选筛选:done;合并重复的神经网络实现学习,选择两个有明确成熟源码入口、能回答不同机制问题的候选。安装步骤及未经核验的模型表现不单独生成实践。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。