此笔记位置已失效,请从目录继续阅读。
全书导读
本书以神经网络架构的演进为主线,从深度学习的基础元素出发,依次讲解深度前馈网络、受限玻尔兹曼机与自编码器、卷积神经网络、移动神经网络、循环神经网络、生成对抗网络以及深度学习的新趋势。每类网络都针对特定数据形态和约束提出自己的表示方式,阅读时先弄清对象与问题,再看架构怎样回应前一类模型的局限。
全书主线
全书把“表示学习”作为共同问题:前馈网络建立通用非线性映射;自编码器学习紧凑表示;CNN 利用图像的空间局部性;RNN 保留序列的时间依赖;GAN 用对抗目标替代显式似然;贝叶斯方法讨论模型不确定性。这些架构不互相取代,而是在不同数据形态、训练目标与部署约束下提供不同归纳偏置。
第01章 深度学习入门
本章围绕深度学习入门展开。下面按原文小节梳理每部分讲什么、各部分为何放在一起,并链接相应卡片以查看完整细节。
人工智能与机器学习的演进
本章从 Sam Altman 的引语和全书定位讲起,先界定人工智能是无需逐条显式编程即可完成任务的系统,再用 1956 年跳棋程序、1959 年机器学习术语、八十年代 ANN、2000 年代深度学习串出一条层层包含的时间线。随后说明机器学习如何把「人写规则」翻转为「数据加预期输出换来优化规则」,并以误差最小化为学习动力,最后给出监督、无监督、强化三类划分,为后文深度学习承继这套分类埋下伏笔。
对应卡片:人工智能及其演进脉络;机器学习:从规则到数据驱动
机器学习的三类任务与深度学习的兴起
本单元把上一单元的三类划分逐一展开:监督学习用标签学习输入到输出的映射并分为回归与分类两支;无监督学习在无目标输出时靠初始化与迭代更新决策边界实现聚类;强化学习借智能体—环境—奖励—策略的闭环从试错中学习。三类讲完后回到「为什么需要深度学习」,指出机器学习在鲁棒性与人工特征上的短板,由更快算力推动更深网络登场,自然衔接下一单元的应用。
对应卡片:监督学习与回归、分类;无监督学习与聚类;强化学习:智能体与奖励;深度学习的动机与诞生
深度学习的应用
本单元以四个落地场景展示深度学习的威力:自动驾驶用端到端 CNN 把摄像头图像直接映射为驾驶动作,并以反向传播更新参数;图片翻译用 GAN 的生成器—判别器对抗及条件 GAN 的 pix2pix 实现图像变换;机器翻译用 RNN 编解码器把变长序列压成固定向量再逐词生成;聊天机器人则复用编解码结构按查询—响应样本生成回答。四者由易到难,共同印证上一单元”更强大工具”的判断。
对应卡片:自动驾驶的端到端学习;GAN与图像到图像翻译;神经机器翻译与编解码结构
人工神经网络的数学基础
本单元把应用拉回基本原理:先用树突、轴突、突触与阈值的生物机制说明人脑如何形成并行互连网络,据此抽象出人工神经网络的节点与权重;再从单个标量神经元 a = wx + b 与偏置讲起,扩展到向量输入与 n×m 权重矩阵,说明多神经元并行后输出也成为向量。作者强调尽量降低数学门槛、只假设基本代数与微积分,为下一单元的激活函数做铺垫。
对应卡片:生物神经元与网络灵感;人工神经元数学模型
激活函数
本单元先回答”为什么需要激活函数”:线性加权和可能输出任意实数,而任务常要求压缩到特定区间。随后按用途列举六种函数,形成从标量缩放到概率输出的谱系:线性、Sigmoid(0 到 1,输出概率)、Tanh(-1 到 1,保留符号)、ReLU(截断负值、使神经元失活)、泄漏 ReLU(按 c 减弱失活)与 Softmax(多分类概率)。它们直接作用在前一单元神经元模型的输出端。
对应卡片:激活函数:作用与类型
TensorFlow 与 Keras
本单元从理论转向编码环境:先用 Conda 建立隔离环境、安装并测试 TensorFlow 的 CPU 与 GPU 版本,再讲 TensorFlow 先建空图、后由会话运行的核心机制及 constant、Variable、Placeholder 三种操作;随后引入以 TensorFlow 为后端的 Keras,比较顺序 API 与函数式 API 两种建模布局,并以 compile、fit 收束训练流程。最后总结全章从人工智能演进到搭建环境的主线,并预告下一章的深度前馈网络与首个模型。
对应卡片:计算图与会话机制;Keras与两种建模API
原书依据 · 14 处
- 深度学习入门 人工智能与机器学习的演进 · 查看原书依据
- 深度学习入门 人工智能与机器学习的演进 · 查看原书依据
- 深度学习入门 机器学习的任务分类与深度学习 · 查看原书依据
- 深度学习入门 机器学习的任务分类与深度学习 · 查看原书依据
- 深度学习入门 机器学习的任务分类与深度学习 · 查看原书依据
- 深度学习入门 机器学习的任务分类与深度学习 · 查看原书依据
- 深度学习入门 深度学习的应用 · 查看原书依据
- 深度学习入门 深度学习的应用 · 查看原书依据
- 深度学习入门 深度学习的应用 · 查看原书依据
- 深度学习入门 人工神经网络的数学基础 · 查看原书依据
- 深度学习入门 人工神经网络的数学基础 · 查看原书依据
- 深度学习入门 激活函数 · 查看原书依据
- 深度学习入门 TensorFlow 与 Keras · 查看原书依据
- 深度学习入门 TensorFlow 与 Keras · 查看原书依据
第02章 深度前馈网络
本章围绕深度前馈网络展开。下面按原文小节梳理每部分讲什么、各部分为何放在一起,并链接相应卡片以查看完整细节。
演进之路与 DFN 架构
本单元交代 DFN 的历史与结构两条基线。历史上从 McCulloch-Pitts 阈值逻辑、Rosenblatt 感知器,经 Kelley 的链规则反向传播,到 1986 年 Hinton 等人证明隐藏层可借反向传播学习非线性函数,再到九十年代被 SVM 压制、2006 年逐层预训练让深层网络复活,最终改名深度学习。结构上指出大脑的多层分层启发了网络堆叠:输入层、隐藏层、输出层依次前馈,通用逼近定理虽保证单隐藏层可拟合任意函数,但神经元会爆炸增长,增加层数才更经济,由此点明深度与前馈的含义。
对应卡片:深度前馈网络的演进历程;深度前馈网络的分层架构
训练机制:损失、梯度与反向传播
本单元围绕如何把随机权重训练成好权重层层推进:先用损失函数度量预测与标签的差距,并以最大似然估计把最小损失解释为最大化预测分布接近预期分布的概率,再用梯度下降加反向传播更新权重。损失函数分两支,回归用 MSE(平方可微但放大异常值)与 MAE(绝对值鲁棒但不可微),分类用交叉熵比较预测与标签两个概率分布。梯度下降从凸成本函数的随机点出发沿梯度下行,学习率控制步长,并演化出批量、随机、小批量三种变体以权衡速度与波动。反向传播以链式法则为核心,用一次前向加一次反向算出全部梯度,避免数值差分的昂贵代价;优化器则在训练中动态调整学习率改善收敛,常用 Adam 与 RMSProp。
对应卡片:网络训练的三个环节;回归损失:均方误差与绝对误差;交叉熵与分类损失;梯度下降与三种变体;反向传播与链式法则;优化器与学习率调整
数据划分、过拟合与正则化
本单元先解决用什么数据评估:按 80/10/10 划出训练集、验证集、测试集,训练精度会因熟悉数据而虚高,只有验证集与测试集才能公正评估,验证集还负责训练中微调参数。随后指出 DFN 海量参数易导致过拟合——网络过度贴合训练数据细节而丧失泛化,决策边界过于特化。对策是正则化:L1 用权重绝对值惩罚、鲁棒但昂贵且不连续,L2 用平滑平方惩罚、易算连续但对离群值敏感;丢弃靠每次迭代随机删节点注入随机性;早期停止则监控验证损失由降转升的拐点及时收手。数据扩充作为补充手段被提名。
对应卡片:训练集、验证集与测试集;过拟合的成因;L1 与 L2 正则化;丢弃与早期停止
首个 DFN 的数据准备
本单元进入编码实战,先给出构建任何深度学习网络的通用六步流程,再选 Fashion-MNIST 作为数据集:它与 MNIST 同为 28×28 灰度、6 万训练加 1 万测试,但十类服饰图像更复杂。数据由 keras.datasets 下载,像素从 0–255 归一化到 0–1,二维图像展平为 784 维向量以适配 DFN 输入,训练集切 10% 作验证集并预先打乱。随后确定模型参数:10 类、784 输入、256 与 128 两个隐藏层、学习率 0.001、批大小 64、迭代轮数;标签经单热编码转为仅含 0/1 的向量,使输出层每个神经元对应一个类别。可视化一段只演示 matplotlib 绘图,无独立知识点。
对应卡片:首个 DFN 的数据准备
建立模型图与训练
本单元用 TensorFlow 落地模型:以 name_scope 分组变量,placeholders 收纳输入与标签,输入层与两隐藏层用 get_variable 定义权重偏置并以 ReLU 激活,层间前馈相连;输出层刻意不加 softmax,因为 softmax_cross_entropy_with_logits 已内建该步骤,重复叠加会让准确率骤降。损失交给 Adam 最小化,精度由 argmax 与 equal 统计。训练时开启会话、初始化变量、按批用 feed_dict 喂数据并运行 train 更新权重,同时周期性打印训练与验证的损失和准确率;验证准确率在若干阶段后回落正是过拟合信号,训练完再用测试集评估。随后给出整合后的完整脚本。
对应卡片:建模、训练与 Keras 简化
Keras 简化与本章总结
本单元指出手写全部 TensorFlow 代码过于繁琐,Keras 作为高层模块让开发者专注架构:用 Sequential 依次堆叠 Flatten、Dense、Dropout 与 Activation,compile 指定 Adam 与稀疏交叉熵后即可 fit 训练、evaluate 评估,几行代码实现与前文等价的 DFN。最后总结全章主线:从 DFN 演进史与分层架构出发,串起损失函数、梯度下降、反向传播、优化器与正则化等训练要素,再用 TensorFlow 和 Keras 完成首个模型;并预告下一章的玻尔兹曼机与自编码器。
原书依据 · 14 处
- 深度前馈网络 演进之路与 DFN 架构 · 查看原书依据
- 深度前馈网络 演进之路与 DFN 架构 · 查看原书依据
- 深度前馈网络 训练机制:损失、梯度与反向传播 · 查看原书依据
- 深度前馈网络 训练机制:损失、梯度与反向传播 · 查看原书依据
- 深度前馈网络 训练机制:损失、梯度与反向传播 · 查看原书依据
- 深度前馈网络 训练机制:损失、梯度与反向传播 · 查看原书依据
- 深度前馈网络 训练机制:损失、梯度与反向传播 · 查看原书依据
- 深度前馈网络 训练机制:损失、梯度与反向传播 · 查看原书依据
- 深度前馈网络 数据划分、过拟合与正则化 · 查看原书依据
- 深度前馈网络 数据划分、过拟合与正则化 · 查看原书依据
- 深度前馈网络 数据划分、过拟合与正则化 · 查看原书依据
- 深度前馈网络 数据划分、过拟合与正则化 · 查看原书依据
- 深度前馈网络 首个 DFN 的数据准备 · 查看原书依据
- 深度前馈网络 建立模型图与训练 · 查看原书依据
第03章 受限玻尔兹曼机和自编码器
本章围绕受限玻尔兹曼机和自编码器展开。下面按原文小节梳理每部分讲什么、各部分为何放在一起,并链接相应卡片以查看完整细节。
RBM 的本质、能量与演进
本单元建立 RBM 的理论基线。先定义它是生成型随机神经网络,只有可见层与隐藏层、单元取二值、以权重 W 与偏置 a、b 为参数,并用能量函数取代损失函数——能量越低表示变量越兼容、模型质量越高。由于状态互相依赖,给定一方可用 sigmoid 算另一方激活概率,从而从 v0 出发交替执行 P(h|v)、P(v|h) 的伯努利采样,这一吉布斯采样过程也是对可见层的重建。经过 k 步得到的 v0 与 vk 之外积差即对比散度,用它估计梯度可避免精确求期望的高成本。最后沿玻尔兹曼机、Harmonium、RBM 到 DBN 的时间线交代结构逐步受限的动因及监督与无监督应用。
对应卡片:受限玻尔兹曼机的本质与结构;能量函数与变量兼容性;吉布斯采样与可见层重建;对比散度与参数梯度;RBM 的演进之路
RBM 实现与电影推荐
本单元把理论落到代码与应用。先实现 RBM:偏置置零、权重用启发式均匀初始化,每个吉布斯步按 P(h|v) 采样隐藏层、按 P(v|h) 重建可见层并更新 P(h|v),再以对比散度算 ΔW、Δa、Δb,用 assign 配合学习率更新参数,小批量训练并定期打印重建误差。随后用于电影推荐:MovieLens 数据集评分是 1–5 整数,二值化会丢信息,故缩放到 [0,1] 当作取 1 的概率;矩阵极稀疏,0 表示未评分,须在每步后还原为 0 以免污染梯度。为了让无监督模型可评估,把每个用户 20% 评分临时置零模拟,比较预测与实际的均方误差,本例约 0.038。数据集格式说明等细节只作背景。
对应卡片:RBM 实现流程;电影推荐:评分处理与模拟评估
深度信念网络与图像分类
本单元讲 RBM 的深版本 DBN。它把多个 RBM 堆叠起来,前一 RBM 的隐藏层充当后一 RBM 的可见层,隐藏层因此成为逐层抽象的特征检测器。训练是顺序逐层的:先训最底层并固定其参数,再把隐藏向量喂给上一层继续训,如此自底向上从已提取的特征中再提特征。实现要点是给每个 RBM 用 variable_scope 隔离变量域,否则会共用同一组变量而报错;DBN 类维护 RBM 列表与参数列表,predict 把输入依次过各隐藏层取最后一层特征。应用上用 digits 手写数字数据,缩放后逐层训练,把 512 维顶层特征交给逻辑回归分类,得到 97.8% 准确率。训练日志与流程图无独立知识点。
对应卡片:深度信念网络的堆叠与逐层训练;DBN 图像分类实战
自编码器的本质与发展
本单元转入自编码器。AE 以重建输入为目标,含输入层、隐藏层、输出层三层:编码器把输入压缩为潜在表示,解码器再把它还原,隐藏层因此学到潜在表示。AE 与 RBM 都最小化重构误差,但 AE 以判别式方式学表示、不显式考虑输入概率分布,RBM 则靠随机采样找表示。随后梳理发展路径:从神经网络中的模块化学习起步,经降维、线性特征学习,再到 2008 年的去噪自编码器、稀疏自编码器、压缩自编码器与 2013 年的变分自编码器,各变体约束形式不同却共享学鲁棒表示的目标。一般结构图为图示占位。
对应卡片:自编码器:编码与解码;自编码器的发展路径
自编码器变体与信用卡欺诈检测
本单元以信用卡欺诈检测贯穿五种自编码器。因欺诈仅占约 0.17%,监督学习难有足够样本,故只在正常样本上训练 AE,用重构误差识别异常。原始版用 29 输入、40 隐藏的三层 Keras 模型,以 ROC AUC 在此类不平衡数据上易虚高,改看精确召回曲线下面积约 0.82。深度版用 80、40、80 三隐藏层、更低学习率,面积约 0.83;稀疏版在编码器加 L1 正则,小样本下从 0.66 提升到 0.70;去噪版把规范化加在输入上、靠损坏输入重建,适合预训练而非此无监督任务;压缩版用更复杂的惩罚项鼓励不变性,面积约 0.83。各变体架构或约束不同,目标都是更鲁棒的表示。训练日志、模型摘要与曲线图为运行输出,章末总结属复述。
原书依据 · 16 处
- 受限玻尔兹曼机和自编码器 RBM 的本质、能量与演进 · 查看原书依据
- 受限玻尔兹曼机和自编码器 RBM 的本质、能量与演进 · 查看原书依据
- 受限玻尔兹曼机和自编码器 RBM 的本质、能量与演进 · 查看原书依据
- 受限玻尔兹曼机和自编码器 RBM 的本质、能量与演进 · 查看原书依据
- 受限玻尔兹曼机和自编码器 RBM 的本质、能量与演进 · 查看原书依据
- 受限玻尔兹曼机和自编码器 RBM 实现与电影推荐 · 查看原书依据
- 受限玻尔兹曼机和自编码器 RBM 实现与电影推荐 · 查看原书依据
- 受限玻尔兹曼机和自编码器 深度信念网络与图像分类 · 查看原书依据
- 受限玻尔兹曼机和自编码器 深度信念网络与图像分类 · 查看原书依据
- 受限玻尔兹曼机和自编码器 自编码器的本质与发展 · 查看原书依据
- 受限玻尔兹曼机和自编码器 自编码器的本质与发展 · 查看原书依据
- 受限玻尔兹曼机和自编码器 自编码器变体与信用卡欺诈检测 · 查看原书依据
- 受限玻尔兹曼机和自编码器 自编码器变体与信用卡欺诈检测 · 查看原书依据
- 受限玻尔兹曼机和自编码器 自编码器变体与信用卡欺诈检测 · 查看原书依据
- 受限玻尔兹曼机和自编码器 自编码器变体与信用卡欺诈检测 · 查看原书依据
- 受限玻尔兹曼机和自编码器 自编码器变体与信用卡欺诈检测 · 查看原书依据
第04章 CNN 架构
本章围绕CNN 架构展开。下面按原文小节梳理每部分讲什么、各部分为何放在一起,并链接相应卡片以查看完整细节。
深度前馈网络的问题与 CNN 演进
本单元交代 CNN 为何出现。先算一笔账:深度前馈网络把每个像素连到第一层,28×28 尚需 784 个神经元,500×500 就要 25 万个,全连接处理真实图像计算上不可承受,且丢弃了空间结构。随后给出 CNN 的演进线:1960 年代视觉皮层感受野的发现启发局部连接,1989 年 LeCun 的可训练 CNN 与 1998 年 LeNet-5 奠定基础,2000 年代 GPU 并行计算让更深的 CNN 成为可能,ImageNet 与 ILSVRC 提供数据与赛场。
对应卡片:深度前馈网络处理图像的困境;CNN 的演进之路
CNN 的架构与各层
本单元拆解 CNN 的分层流水线。先指出 CNN 与前馈网络只在连接方式上不同,并利用图像是三维体积、邻域像素相关两大特点;输入层以(批,宽,高,通道)保形。卷积层用过滤器实现本地连接与参数共享,其输出由跨步、零填充、深度三参数控制,并以激活映射堆叠;最大池化层用核与跨步压缩宽高;末端经展平接全连接层,用 softmax 与交叉熵完成分类。
对应卡片:CNN 的图像基础与分层架构;过滤器、本地连接与参数共享;卷积计算与滑动三参数;最大池化层;全连接层与展开
经典图像分类 CNN 架构
本单元沿 ILSVRC 脉络梳理三种代表架构。VGGNet 以统一的小 3×3 卷积堆叠深化并成为检测常用基础网络;GoogLeNet 用并行的 1×1、3×3、5×5 卷积构成 Inception 模块,让网络自选核大小并缓解深层训练难题;ResNet 用残差/跳跃连接把目标改为学习 F(x)=H(x)-x,突破精度退化并支持 34 层网络。
对应卡片:VGGNet:以小卷积堆叠深化;GoogLeNet 与 Inception 模块;ResNet 与残差连接
第一个 CNN:CIFAR-10 图像分类器
本单元把前两单元的层落地为代码。介绍 CIFAR-10 的规模、类别与五个批量文件(每文件展平为 10000×3072),数据读取后要 reshape 并 transpose 成三维;预处理包括单热编码、除以 255 归一化、shuffle 混洗、yield 分批;模型用四维占位符,堆叠五组 conv 与池化、展平后接三个全连接层、末端 softmax 交叉熵配 Adam,按 epoch 训练并保存。
对应卡片:CIFAR-10 图像分类器全流程
使用 CNN 的对象检测
本单元从分类转向检测。先把任务拆成定位与识别两个子网,再依次介绍 R-CNN(选择性搜索 2000 提议、CNN 提特征、SVM 分类、线性回归校正框)、Faster R-CNN(RPN 替代选择性搜索、九个锚框、非最大抑制、ROI 池化)、YOLO(S×S 网格回归、单 CNN 实时检测、四部分损失)与 SSD(VGG16 基础网络、多尺度特征映射、默认框与定位/分类损失)。
对应卡片:两阶段检测器:R-CNN 与 Faster R-CNN;单阶段检测器:YOLO 与 SSD
TensorFlow 对象检测模型库与实战
本单元说明如何免训练完成检测。因从零训练成本高,研究者公开在 COCO、PASCAL VOC、Kitti 上训好的权重与图,TensorFlow 的模型库进一步提供预训练权重、冻结图与 mAP 比较;实战选 ssd_mobilenet_v2_coco,从 .pb 冻结图用 GraphDef 加载并导入会话,按图名取输入与输出张量,喂图得到边界框与类别后还原坐标并画框显示。末章总结回顾全章主线。
原书依据 · 14 处
- CNN 架构 深度前馈网络的问题与 CNN 演进 · 查看原书依据
- CNN 架构 深度前馈网络的问题与 CNN 演进 · 查看原书依据
- CNN 架构 CNN 的架构与各层 · 查看原书依据
- CNN 架构 CNN 的架构与各层 · 查看原书依据
- CNN 架构 CNN 的架构与各层 · 查看原书依据
- CNN 架构 CNN 的架构与各层 · 查看原书依据
- CNN 架构 CNN 的架构与各层 · 查看原书依据
- CNN 架构 经典图像分类 CNN 架构 · 查看原书依据
- CNN 架构 经典图像分类 CNN 架构 · 查看原书依据
- CNN 架构 经典图像分类 CNN 架构 · 查看原书依据
- CNN 架构 第一个 CNN:CIFAR-10 图像分类器 · 查看原书依据
- CNN 架构 使用 CNN 的对象检测 · 查看原书依据
- CNN 架构 使用 CNN 的对象检测 · 查看原书依据
- CNN 架构 TensorFlow 对象检测模型库与实战 · 查看原书依据
第05章 移动神经网络和 CNN
本章围绕移动神经网络和 CNN展开。下面按原文小节梳理每部分讲什么、各部分为何放在一起,并链接相应卡片以查看完整细节。
引言与移动神经网络的动机
本单元交代整章的问题背景:深度网络推理需数百万次乘法、标准 CNN 参数与权重庞大,难以在手机、摄像头等便携设备上运行;移动神经网络作为超小型、低算力且表现相当的 CNN 成为突破口。末尾列出本章主题清单,覆盖 MobileNet 与 MobileNetV2 的演进、架构、实现、对比及 SSD。
对应卡片:移动神经网络的动机
MobileNets 的演进之路
本单元从现实约束讲起:CNN 凭 ILSVRC 奠定视觉基准却算力高昂,而检测任务多在便携设备上完成,要求参数极小。随后给出时间线:2017 年 Google 推出 MobileNets,以深度可分离卷积减参并用于实时检测;2018 年推出 MobileNetV2,带来反向残差块并与 SSD 结合。
对应卡片:MobileNet 演进之路
MobileNets 的架构与深度可分离卷积
本单元指出 MobileNets 架构核心是深度可分离卷积,用深度卷积与点卷积替代标准卷积。深度卷积逐通道处理、只混合空间信息,对 n 通道输入产出 n 通道;随后 1×1 点卷积组合通道得到期望深度。多处配图展示标准卷积与可分离卷积的输出响应差异。
对应卡片:深度可分离卷积
深度可分离卷积的需求与计算成本
本单元用乘法次数量化收益:设 M×M×N 输入、K×K×N 核、G×G×D 输出,标准卷积成本 G²K²ND;深度卷积 G²K²N、点卷积 G²ND。以 D=256、K=3 算出比值约 0.115,说明参数仅为九分之一,从而解释移动网络能以更少参数保持表现。
对应卡片:可分离卷积的计算成本
MobileNet 的结构
本单元给出 30 层结构:首层 3×3 标准卷积,深度可分离卷积块重复 13 次,用跨步 2 替代 maxpooling 缩小宽高、点卷积加倍通道。ImageNet 224×224×3 输入下末端为 7×7×1024,经 GAP 压成 1×1×1024 后接全连接层,激活用 ReLU6 促使更早学稀疏特征,并给出完整架构表。
对应卡片:MobileNet 网络结构
MobileNet 与 Keras
本单元演示用 Keras 预训练权重做分类的完整流程:加载模型、argparse 传路径、load_img 按 224×224 读取、img_to_array 转数组、expand_dims 补批量维、preprocess_input 预处理、predict 推理、decode_predictions 取前五项。以鹈鹕图测试得到约 0.99 概率,softmax 抑制了相似鸟类。
对应卡片:MobileNet 实现
MobileNetV2 及其动机
本单元说明 V2 更快且参数更少、广泛用于检测与分段。动机是让网络更轻巧,但直接减少特征映射深度会削弱 CNN 的提取能力;Google 因此对 MobileNet 块做两处改动——扩展线性瓶颈层与倒置残差块,由此转入对 V2 结构的展开。
对应卡片:MobileNetV2 动机
MobileNetV2 的结构:线性瓶颈层与扩展层
本单元讲 V2 仍以深度可分离卷积为核心,但块顶部多出扩展层与线性瓶颈层。线性瓶颈层反转 MobileNet 点卷积角色,把 384 通道压回 128,并用论证说明低维投影下 ReLU 能保住信息;扩展层是 1×1 卷积、扩展因子全网络设为 6,把 64 通道扩到 384 后再由瓶颈压回。
对应卡片:线性瓶颈层
反向残差块与整体架构
本单元由梯度消失引出 ResNet 跳过连接,再讲 MobileNetV2 因有用信息只在瓶颈层,故在瓶颈间加残差连接并命名为反向残差。整体架构以标准卷积生成 32 过滤器、接 19 个瓶颈块、3×3 核、恒定的扩展因子 6,表列 n/s/c/t 分别标注重复次数、跨步、通道数与扩展因子。
对应卡片:扩展层与反向残差块
实现 MobileNetV2
本单元说明 Keras 的 keras.applications.mobilenet_v2 提供 MobileNetV2,调用方式除模型名外与 MobileNet 相同,给出模型下载与分类代码。以火烈鸟图测试约 86% 判为火烈鸟,其他类别概率被 softmax 抑制。
对应卡片:MobileNetV2 实现
比较两个 MobileNet
本单元用 MAC 与参数量比较两代网络:V1 为 420 万参数/575M MAC,V2 为 340 万参数/300M MAC;再按通道数与分辨率比较内存(Kb),并用 TensorFlow 在 Pixel 1 上给出准确率—延迟曲线。结论是 V2 更轻且表现更好,进而引出与 SSD 的组合。
对应卡片:MobileNet 代际对比
SSD MobileNetV2 与总结
本单元介绍 SSDLite:因 SSD 构建独立于基础网络,可用深度可分离卷积替换标准卷积,其第一层接在 MobileNetV2 第 15 层扩展上,从而大幅减少检测参数、实现移动实时检测。章末总结回顾移动网络、两代架构、Keras 实现与检测组合的主线,并预告下一章 RNN。
对应卡片:SSDLite:移动对象检测
原书依据 · 12 处
- 移动神经网络和 CNN 引言与移动神经网络的动机 · 查看原书依据
- 移动神经网络和 CNN MobileNets 的演进之路 · 查看原书依据
- 移动神经网络和 CNN MobileNets 的架构与深度可分离卷积 · 查看原书依据
- 移动神经网络和 CNN 深度可分离卷积的需求与计算成本 · 查看原书依据
- 移动神经网络和 CNN MobileNet 的结构 · 查看原书依据
- 移动神经网络和 CNN MobileNet 与 Keras · 查看原书依据
- 移动神经网络和 CNN MobileNetV2 及其动机 · 查看原书依据
- 移动神经网络和 CNN MobileNetV2 的结构:线性瓶颈层与扩展层 · 查看原书依据
- 移动神经网络和 CNN 反向残差块与整体架构 · 查看原书依据
- 移动神经网络和 CNN 实现 MobileNetV2 · 查看原书依据
- 移动神经网络和 CNN 比较两个 MobileNet · 查看原书依据
- 移动神经网络和 CNN SSD MobileNetV2 与总结 · 查看原书依据
第06章 循环神经网络
本章围绕循环神经网络展开。下面按原文小节梳理每部分讲什么、各部分为何放在一起,并链接相应卡片以查看完整细节。
什么是 RNN?
从前馈网络单向流动对比引出 RNN 的反馈回路,给出 h[t]=f(h[t-1],x[t]) 的链式形式,说明隐藏状态充当内存及其在时间序列与顺序输入上的适用性。
对应卡片:RNN的反馈回路与记忆机制
RNN 的演进路径
按时间线梳理霍普菲尔德网络、Elman、梯度消失与 LSTM、双向版本、分层 RNN、LSTM 盛行直至 GRU 的演化。
对应卡片:RNN的演进路径
RNN 架构和应用——不同输入和输出的架构
按输入输出划分多对一、一对多、多对多同步与多对多异步四类并给出工业用例,再从隐藏层角度指出原始 RNN、LSTM 与 GRU。
对应卡片:按输入输出划分的四种RNN架构
原始神经网络
展开原始 RNN,说明 U/V/W 三组权重、隐藏状态与输出计算式,BPTT 需累加所有先前步梯度,以及梯度消失使长期依赖难以捕获。
对应卡片:原始RNN架构与权重;BPTT时间反向传播;梯度消失与长期依赖
用于文本生成的原始 RNN——数据准备
以《战争与和平》为例,小写化并统计字符与词表,按固定长度错位构造输入输出序列,用单热编码生成形状为(样本,序列长,特征)的 X 与 Y。
对应卡片:字符级文本生成的数据准备
用于文本生成的原始 RNN——模型与训练
用两层 SimpleRNN 加 return_sequences、TimeDistributed、Softmax 搭建多对多生成器,配 RMSprop 与回调训练,并观察各周期生成文本。
对应卡片:原始RNN文本生成模型构建
LSTM RNN
在循环单元上增加存储单元与遗忘门、输入门、输出门,给出四个门与单元状态、隐藏状态的更新式,说明 sigmoid 的开关作用及 BPTT 训练。
对应卡片:LSTM的门控机制
用于文本生成的 LSTM RNN
将序列长度增至 160、结构保持两层各 800 单元,参数约为原始四倍,训练 22 小时后生成更逼真文本,并指出字符生成可扩展到代码、HTML 等。
对应卡片:LSTM文本生成的效果
GRU RNN
介绍只有复位门与更新门的 GRU,给出门控与隐藏状态更新式,说明其退化为普通 RNN 的条件,并与 LSTM 逐项对比优缺点。
对应卡片:GRU的复位门与更新门;GRU与LSTM的关键差异
用于股价预测的 GRU RNN
以 DJIA 收盘价构造窗口样本,用窗口内相对缩放替代最大最小缩放,搭建单 GRU 层加 Dense 并用 TensorBoard 等回调训练,最后强调仅作演示。
对应卡片:股价预测中的序列与窗口缩放
双向 RNN
指出单向 RNN 无法利用未来信息的局限,以缺词生成说明,引入由正向与反向两个独立循环层组成的 BRNN 及其适用任务。
对应卡片:双向循环网络BRNN
用于情感分类的双向 RNN
加载 IMDb 数据并过滤高频词、pad 到 200 词,用嵌入层替代单热编码,Bidirectional 包裹 LSTM 后接 sigmoid 输出,验证提前停止,测试精度 89.6%。
对应卡片:双向LSTM情感分类
原书依据 · 15 处
- 循环神经网络 什么是 RNN? · 查看原书依据
- 循环神经网络 RNN 的演进路径 · 查看原书依据
- 循环神经网络 RNN 架构和应用——不同输入和输出的架构 · 查看原书依据
- 循环神经网络 原始神经网络 · 查看原书依据
- 循环神经网络 原始神经网络 · 查看原书依据
- 循环神经网络 原始神经网络 · 查看原书依据
- 循环神经网络 用于文本生成的原始 RNN——数据准备 · 查看原书依据
- 循环神经网络 用于文本生成的原始 RNN——模型与训练 · 查看原书依据
- 循环神经网络 LSTM RNN · 查看原书依据
- 循环神经网络 用于文本生成的 LSTM RNN · 查看原书依据
- 循环神经网络 GRU RNN · 查看原书依据
- 循环神经网络 GRU RNN · 查看原书依据
- 循环神经网络 用于股价预测的 GRU RNN · 查看原书依据
- 循环神经网络 双向 RNN · 查看原书依据
- 循环神经网络 用于情感分类的双向 RNN · 查看原书依据
第07章 生成对抗网络
本章围绕生成对抗网络展开。下面按原文小节梳理每部分讲什么、各部分为何放在一起,并链接相应卡片以查看完整细节。
什么是 GAN?
以临摹梵高画作的比喻引出 GAN 的思想,说明 GAN 可生成图像、音频、视频、时间序列并用于统计推断,核心在于其生成模型本质,进而引出生成模型与判别模型的区分。
对应卡片:GAN是什么与应用
生成模型
先对比判别模型(寻找分离数据的边界)与生成模型(对数据分布建模),再说明 GAN 由生成器与判别器构成,判别器提供反馈以更好地逼近目标分布。
对应卡片:生成模型与判别模型
对抗 - 以对抗方式进行训练
用零和博弈解释生成器与判别器的对抗目标与梯度下降更新,给出以图像生成为例的七个步骤与双方交叉熵损失的构成,并说明收敛判据。
对应卡片:对抗训练的零和机制;GAN的图像生成流程
GAN 的演进路径
从 1990 年代 Schmidhuber 的可预测性最小化、2013 年无模型推断对抗模型,到 2014 年 Goodfellow 正式提出 GAN,再到图灵学习,最后列出全连接原始 GAN 及 DCGAN/CGAN/InfoGAN 的演化脉络。
对应卡片:GAN的演进路径
GAN 架构和实现 / 原始 GAN
从全连接架构的对称性讲起,用 MNIST 实现原始 GAN:数据预处理、leaky ReLU 与 tanh 的生成器、反向顺序的判别器、交叉熵损失与 Adam 优化,并指出生成器更新两次的训练平衡技巧及成果与局限。
对应卡片:原始GAN的全连接架构;泄漏ReLU激活函数;原始GAN的训练平衡
深度卷积 GAN
由 Radford 提出 DCGAN,判别器用卷积层、生成器用转置卷积层上采样,引入批量归一化稳定训练,通过零填充统一到 32×32,实验显示生成图像比原始 GAN 更真实。
对应卡片:深度卷积GAN架构;转置卷积与批量归一化
条件 GAN
CGAN 将一热标签拼接进生成器和判别器实现按类可控生成,修改数据加载与批处理函数并复用原始 GAN 损失,展示结果可按 10 个类别控制数字。
对应卡片:条件GAN的可控生成
InfoGAN
InfoGAN 把条件变量视为未知潜在量,由判别器推断后验 P(c|X),通过最大化 c 与输出的互信息学习特征;实现上复用 DCGAN 结构,损失为常规 GAN 损失加分类交叉熵与连续变量平方和,结果中类别与数字非一一对应、连续值控制旋转。
对应卡片:InfoGAN的潜在条件变量;互信息与InfoGAN目标;InfoGAN的损失实现
总结
总结四种 GAN 架构与实现,指出 GAN 是近年深度学习的重要发明,并预告下一章的贝叶斯神经网络、胶囊网络与元学习。
原书依据 · 14 处
- 生成对抗网络 什么是 GAN? · 查看原书依据
- 生成对抗网络 生成模型 · 查看原书依据
- 生成对抗网络 对抗 - 以对抗方式进行训练 · 查看原书依据
- 生成对抗网络 对抗 - 以对抗方式进行训练 · 查看原书依据
- 生成对抗网络 GAN 的演进路径 · 查看原书依据
- 生成对抗网络 原始 GAN · 查看原书依据
- 生成对抗网络 原始 GAN · 查看原书依据
- 生成对抗网络 原始 GAN · 查看原书依据
- 生成对抗网络 深度卷积 GAN · 查看原书依据
- 生成对抗网络 深度卷积 GAN · 查看原书依据
- 生成对抗网络 条件 GAN · 查看原书依据
- 生成对抗网络 InfoGAN · 查看原书依据
- 生成对抗网络 InfoGAN · 查看原书依据
- 生成对抗网络 InfoGAN · 查看原书依据
第08章 深度学习的新趋势
本章围绕深度学习的新趋势展开。下面按原文小节梳理每部分讲什么、各部分为何放在一起,并链接相应卡片以查看完整细节。
本章概览与新趋势导览
开篇回顾前七章,指出新架构层出不穷,列出贝叶斯神经网络、胶囊网络、元学习三大趋势,并提及 BERT、GAN 与注意力 GAN 等新方向。
不确定性:模型不知道的事
先定义不确定性及其对自信程度的意义,再指出常规模型不估计不确定性,并以自动驾驶与相册误标事故说明其危害。
对应卡片:不确定性:预测之外的重要信息;softmax不等于置信度
贝叶斯神经网络:原理与实现
从 MLE 标量参数过渡到贝叶斯分布参数,给出 MAP 与贝叶斯规则,说明证据难算需蒙特卡洛/变分推断近似;随后用 Edward 在 MNIST 上实现并采样验证 91% 一致准确率。
对应卡片:贝叶斯视角:参数分布与置信度;变分推断近似证据;Edward实现贝叶斯网络
用不确定性拒绝预测:notMNIST 示例
引入 notMNIST 分布外字母数据,对比数字 7 的一致预测与字母 A 的分散预测,说明高不确定性下应拒绝预测。
对应卡片:notMNIST不确定性示例
CNN 的局限:缺乏空间层次结构
肯定 CNN 的有效性同时指出其缺乏空间层次结构,以人脸组件位置错乱仍被识别为例暴露缺陷。
对应卡片:CNN的局限:缺乏空间层次结构
胶囊网络:向量、动态路由与压缩
介绍胶囊网络受计算机图形学启发,用向量长度和方向编码几何信息与活动等价性,再讲仿射变换、动态路由多数表决和压缩激活,最后给出实现链接。
对应卡片:胶囊向量:几何信息的编码;动态路由与压缩激活
深度学习的挑战:训练数据
用数据量-性能关系说明深度学习依赖大数据,归纳样本效率低与可移植性差两点,引出元学习作为答案。
对应卡片:深度学习的训练数据挑战
元学习:学习如何学习与主要方法
定义元学习为学习如何学习,强调利用任务分布与元数据、少量样本泛化到新任务,模型为更新低层网络的高级优化器,并概览基于模型与基于度量两类方法。
对应卡片:元学习:学习如何学习;基于模型的元学习与MANN
基于度量的元学习:连体网络
介绍基于度量的元学习在有限数据下提取关键信息,连体网络由共享权重的双网络组成,以距离判别同类,并引出少样本人脸识别应用。
对应卡片:基于度量的元学习:连体网络
连体网络人脸识别实践
用 ORL 人脸库把多类分类转为成对二分类,构建卷积连体网络并用正负对训练,再以 N 路学习及 KNN 基线评测,展示连体元学习的少样本优势。
对应卡片:卷积连体网络人脸识别实现
总结
收束全书,回顾贝叶斯深度学习的不确定性建模、胶囊网络的相对空间关系,以及元学习连体网络的人脸识别实现,并指出其他可研究方向。
原书依据 · 14 处
- 深度学习的新趋势 不确定性:模型不知道的事 · 查看原书依据
- 深度学习的新趋势 不确定性:模型不知道的事 · 查看原书依据
- 深度学习的新趋势 贝叶斯神经网络:原理与实现 · 查看原书依据
- 深度学习的新趋势 贝叶斯神经网络:原理与实现 · 查看原书依据
- 深度学习的新趋势 贝叶斯神经网络:原理与实现 · 查看原书依据
- 深度学习的新趋势 用不确定性拒绝预测:notMNIST 示例 · 查看原书依据
- 深度学习的新趋势 CNN 的局限:缺乏空间层次结构 · 查看原书依据
- 深度学习的新趋势 胶囊网络:向量、动态路由与压缩 · 查看原书依据
- 深度学习的新趋势 胶囊网络:向量、动态路由与压缩 · 查看原书依据
- 深度学习的新趋势 深度学习的挑战:训练数据 · 查看原书依据
- 深度学习的新趋势 元学习:学习如何学习与主要方法 · 查看原书依据
- 深度学习的新趋势 元学习:学习如何学习与主要方法 · 查看原书依据
- 深度学习的新趋势 基于度量的元学习:连体网络 · 查看原书依据
- 深度学习的新趋势 连体网络人脸识别实践 · 查看原书依据
跨章综合
把八章放在一起看,架构差异主要来自三方面:数据局部结构的利用方式(全连接、卷积、循环连接),训练目标的构造方式(重构、判别、对抗),以及部署约束(移动端算力与延迟)。理解这些维度后,遇到新架构可以先判断它处理什么数据、用什么目标学习、在什么约束下运行,再进入具体网络细节。
发散与实践
以下是读者延伸计划,不是书中已执行结果:比较经典 CNN 架构的归纳偏置;深读成熟实现的 LSTM 门控结构;用最小 GAN 示例观察训练平衡。每张实践卡都给出书中依据、可立即开始的第一步与可检查产出。