来源书籍

用Python实现深度学习框架

Skill 版本:v24 经典原理 119 张卡片

高信息浓度、高稳定性。抽样包括前言、模型与训练、优化方法、神经元、分布式训练和工业框架概述:书中解释计算图、梯度及模型设计动机;基础数学与机制较耐久,示例代码和具体工程技术则随版本变化。 [整书笔记](_book_note.md) · [阅读覆盖](_coverage.md) · [工作流交接](_workflow.md)

张觉非、陈震 · 人民邮电出版社 · ISBN 978-7-115-54837-5

全书导读

本书围绕教学框架 MatrixSlow 回答一个问题:怎样用计算图把模型计算、求导和参数更新连接起来,并在这一基础上搭建不同神经网络。前半部分从线性分类器与损失函数开始,将节点求值、链式求导和优化器组合成训练过程;中间部分逐步构造逻辑回归、全连接、特征交互、循环和卷积网络;后半部分讨论训练评估、模型服务、分布式训练以及工业框架能力。书中示例旨在解释原理,代码的数值稳定性、边界处理及工程可靠性需另行核验。

全书主线

模型把输入映射为输出,标签和损失给训练提供方向。计算图把映射拆为相互依赖的节点:前向求出中间值,反向通过局部导数与链式法则求出损失对参数的梯度;优化器再依据梯度调整参数。这个共同机制允许模型结构变化,而训练框架继续复用。

线性模型引出概率、交叉熵和多分类;多个带非线性激活的神经元形成隐藏表示,二次交互、共享嵌入、循环状态与卷积核则分别利用特征组合、序列顺序和空间邻接。最后,训练器、指标、持久化和分布式通信把单次计算变成可训练、可评估和可部署的系统。

S003 前言

模型训练存在参数初始化、样本顺序等随机因素,单次损失或指标表现不能单独证明实现正确,也不能因表现差就断言代码错误:模型结构、超参数及问题本身也会影响结果。应在不同测试问题和参数组合上反复观察损失与指标,并结合理论核对实现;多次观察建立信心,但不是形式证明。 详见模型实现的验证。

从基本原理亲自构造一个系统,需要把模糊的理解落实到每个细节;运行和反复测试还会暴露预期与实际之间的差异,帮助形成对系统行为的直觉。教学中的重新实现可以服务于理解,是否在生产环境重复实现则取决于实际目标和约束。 详见实现促进理解。

模型结构和超参数会影响模型能表达的变化及偏差、方差之间的权衡,进而影响欠拟合和过拟合。正则化施加约束,调参也在影响模型的有效自由度;这种影响随模型和具体问题变化,需要通过观察和经验判断,不能只靠参数名称断定结果。 详见模型自由度与调参。

理解机器学习代码时,除了知道每步做了什么,还要弄清计算的目标以及它为什么有助于达到目标。公式是描述量之间关系的工具;逐步推导能够检查过程,但还需理解它表达的关系和使用条件,才能把数学和实现联系起来。 详见理解公式与实现。

Minix 是前言中提到的教学用操作系统案例,用于说明通过重新实现系统来学习原理的思路。前言称 Linux 的创建受到其启发,但也说明影响程度未知;这个历史例子服务于本书的教学框架动机,不证明生产中总应自行重写基础设施。 详见Minix与教学式实现。

原书依据 · 5 处

S004 内容概览

本书分原理、模型和工程三部分:先用计算图与优化器建立基础,再逐步搭建不同神经网络,最后处理训练评估、模型服务和分布式训练。

S005 读者对象

本书面向有基本编程能力、希望理解机器学习原理与实现的读者。MatrixSlow 是教学框架,适合通过实现学习,不应把它等同于工业级框架。

S009 第 1 章 机器学习与模型

本章以教学框架 MatrixSlow 为线索,从模型、特征和样本开始,说明如何将带标签的例子用于训练。它先通过一个简单线性分类器建立直觉,再把损失接入计算图,为下一章解释梯度和反向传播作准备。

S010 1.1 模型

模型把描述对象的特征作为输入,通过计算产生输出。模型形式规定计算结构,权重和偏置等参数决定具体行为;例如线性分类器先对各特征加权求和并加入偏置,再用阶跃函数判定类别。两个样本能被分开,并不证明模型能可靠地推广到新样本。 详见模型与特征参数。

原书依据 · 1 处

S011 1.2 参数与训练

有监督训练使用带标签的样本,比较模型输出与正确标签,根据误差调整权重和偏置。学习率控制每次调整的强度,是训练过程的超参数,而非在此过程中被调整的模型参数。单次调整朝正确方向前进,并不保证所有样本立刻分类正确。 详见训练与超参数。

线性分类器先算得分 w·x+b,再依其正负分成两类。x 是特征向量,w 是权重向量,b 是偏置;w·x 是对应分量乘积之和,也等于 x 沿 w 方向的投影长度乘以 w 的长度。当 w 非零时,w·x+b=0 构成分类分界面,调整 w 改变方向和尺度,调整 b 改变阈值。分界面上的输出依约定处理:书中阶跃函数取 1。 详见线性分类的分界面。

在书中的二分类示例中,设预测 f、标签 l 均为 0 或 1,学习率为 η,特征分量为 xᵢ。每次更新 wᵢ ← wᵢ − η(f−l)xᵢ,b ← b − η(f−l)。判断正确时 f−l=0,参数不变;将正类误判为负类时差为 −1,更新使当前样本的线性得分朝增大的方向变化。重复遍历训练样本不保证一次更新就修正全部旧样本。 详见误分类驱动参数更新。

原书依据 · 3 处

S012 1.3 损失函数

二分类的阶跃输出只显示类别,掩盖错误的严重程度。设线性得分 z=w·x+b、标签 l∈{−1,1},书中的损失是 max(−lz, 0):标签与得分异号时损失为 −lz,同号时为零。损失函数可直接比较阶跃之前的线性得分与标签:以标签正负和得分的符号判断是否分错,并让分错越严重时损失越大;训练再朝降低损失的方向调整参数。不同任务可采用不同损失函数。 详见损失保留错误程度。

原书依据 · 1 处

S013 1.4 计算图的训练

计算图把运算拆为相互依赖的节点。前向计算先取得各父节点的值,逐节点求值并得到损失;反向过程从损失节点沿图传播信息,参数节点据此更新。前向提供本轮中间值,反向利用这些值决定参数调整,本章用 ADALINE 实例说明。 详见计算图前向与反向。

原书依据 · 1 处

S014 1.5 小结

本章的监督学习例子用样本的真实标签指导参数调整。模型先计算线性得分并输出类别;损失衡量当前样本的错误,计算图把求值和向参数传递更新信息连接起来。后续章节将解释反向传播信息的数学含义,而本章只建立训练过程的直观认识。

S015 第 2 章 计算图

分类按特征预测类别,回归按特征预测数值。本章将本书讨论的神经网络表达为计算图,用统一的节点与连接组织计算和训练,随后讲解梯度下降、反向传播以及框架实现。

分类根据对象的特征预测所属类别;回归根据特征预测数值。两者都以特征为输入,但输出的问题类型不同:例如判别邮件类别属于分类,预测连续金额属于回归。本书在引言中用这一区分概括其讨论的问题。 详见分类与回归。

原书依据 · 1 处

S016 2.1 什么是计算图

计算图用有向边连接带值的节点,父节点向子节点提供输入;计算节点按自身类型对父节点值执行运算,变量节点则直接接收输入、参数或标签。图是有向无环图,节点的值既可以是标量,也可以是向量。把输入向量与权重向量交给内积节点,可以用较少节点表达与逐分量相同的模型。 详见计算图节点与有向边。

原书依据 · 1 处

S017 2.2 前向传播

前向传播从目标节点要求其值:若父节点的值尚未计算,就递归计算父节点;父节点就绪后,再执行当前节点的运算并保存值。不同目标可共享已计算的中间节点,例如先求预测再求损失;缓存可避免同一轮重复计算,但输入或参数改变后必须使受影响缓存失效,才能获得新结果。 详见按需递归前向计算。

矩阵乘法要求左矩阵的列数等于右矩阵的行数,结果保留左矩阵行数和右矩阵列数。在书中的模型例子里,权重 w 是 1×3 行矩阵,特征 x 是 3×1 列矩阵,因此 wx 是 1×1,其值等于两向量对应分量乘积之和。书中“向量与矩阵”一段把两者形状写反;前面的代码和乘法解释支持这里的形状。 详见矩阵形状决定乘法。

原书依据 · 2 处

S018 2.3 函数优化与梯度下降法

方向导数描述多元函数在某个位置沿指定方向的瞬时变化率。令 d 为单位向量,方向导数是步长趋于零时 [f(w+αd)−f(w)]/α 的极限;它同时依赖位置 w 和方向 d。值为负表示在该方向足够短的局部范围内函数下降,并不保证走远后仍下降。 详见方向导数。

可微函数的梯度由各坐标方向的偏导数组成。沿单位方向 d 的方向导数是梯度与 d 的内积,即梯度在该方向的投影;因此非零梯度指向局部上升最快的方向,负梯度指向局部下降最快的方向。梯度为零的驻点在所有方向的一阶变化率为零,但仅凭这一点不能认定它是最小值。 详见梯度与方向导数。

梯度下降把参数 w 视为位置,将损失视为目标函数,反复按 w←w−η∇f(w) 更新,η 是学习率。负梯度只保证可微点附近的局部下降方向;步长太大可能跨过局部近似有效的范围。迭代期望找到损失较低的位置,并不保证找到全局最低点。 详见梯度下降与步长。

对足够光滑的标量函数,梯度表示函数值局部增加的方向与速率;沿路径对梯度积分得到终点与起点的函数值之差。闭合路径起终点相同,积分为零,因此不能沿整条闭合路径始终严格朝函数值增加的方向前进。书中以彭罗斯台阶解释这一点。 详见梯度场的闭合路径。

原书依据 · 4 处

S019 2.4 链式法则与反向传播

输入为 n 维、输出为 m 维的可微映射,其雅可比矩阵 J 为 m×n:第 i 行、第 j 列是输出第 i 个分量对输入第 j 个分量的偏导数。它把各输出分量的局部变化信息放进一个矩阵。例如固定 x 时,内积 w·x 对 w 的雅可比是一行 x 的各分量。 详见雅可比矩阵。

在可微点 w₀ 附近,向量映射可近似为 f(w₀+Δw)≈f(w₀)+Jf(w₀)Δw;雅可比把输入的小位移映射为输出的一阶变化。这个近似是局部的,远离展开点可能不准确。原书式 (2.5) 的雅可比参数写为 w,但线性化应在展开点 w₀ 求值;原书对方向导数的讨论也不能单凭各方向导数存在就推出多元可微。 详见雅可比局部线性近似。

复合映射沿计算顺序为 h、g、f 时,整体雅可比按 Jf·Jg·Jh 相乘,每个局部雅可比在其对应输入处计算。反向传播从目标开始,结合目标对当前节点的导数和当前节点对父节点的局部导数,逐层得到目标对更早节点的导数。矩阵乘法次序与维度不可交换。 详见链式法则与反向传播。

一个节点影响目标的路径可能经由多个子节点。目标对该节点的雅可比等于各子节点路径贡献之和:每条贡献是目标对该子节点的雅可比乘该子节点对当前节点的局部雅可比。MatrixSlow 的 backward 用累加器收集各分支,并缓存已计算的雅可比,以便同轮复用。 详见多路径梯度求和。

原书依据 · 4 处

S020 2.5 在计算图上执行梯度下降法

训练一轮先给变量赋值,以损失节点为目标前向求值,再对可训练变量反向计算梯度,用学习率缩放梯度并更新参数。参数或样本变化后,旧的中间值和雅可比不能继续作为新一轮结果;清除相应缓存后再计算。单样本梯度下降可能降低当前样本损失,同时增加其他样本的损失。 详见训练一轮的缓存更新。

原书依据 · 1 处

S021 2.6 节点类及其子类

计算图节点缓存值以便复用;变量重新赋值后,依赖它的下游节点缓存仍对应旧输入。MatrixSlow 的 Variable.set_value 先调用 reset_value,沿 children 递归清空节点及下游值,再设置新值。反向传播的雅可比缓存也须在新一轮计算前清理,防止使用旧梯度。 详见变量更新使下游失效。

Node 保存父子关系、节点值和雅可比,提供递归前向、反向及缓存重置。Variable 存储可赋值的输入或参数;Operator 组织运算节点;MatMul 实现矩阵乘法和对指定父节点的局部雅可比。每个具体运算通过 compute 与 get_jacobi 提供前向和反向所需行为。 详见节点类的协作。

设 C=AB,A 为 m×n,B 为 n×k,C 为 m×k。按行展平后,C 对 A 的雅可比大小为 mk×mn,以 m 个 Bᵀ 为对角块;C 对 B 的雅可比大小为 mk×nk,包含由 A 各元素构成的 k×k 对角块。计算偏导较简单,正确排列展平后的行列位置是实现的关键。 详见矩阵乘法的雅可比。

原书依据 · 3 处

S022 2.7 用计算图搭建ADALINE并训练

一个 epoch 是对训练集遍历一遍;示例在每个样本上完成一次参数更新,每轮结束再对训练样本做预测。分类准确率是预测正确的样本数除以样本总数。书中的预测用 0/1、标签用 −1/1,因此比较前先把预测转换成相同编码。 详见训练轮次与准确率。

训练集用于参数调整,训练集上的准确率可帮助观察训练过程,但不能独立评估模型对未见样本的表现。书中的示例每轮在训练集上打印准确率,同时指出更客观的评估应使用另外的测试集;示例的训练集数值不等于泛化表现。 详见训练集与测试集评估。

原书依据 · 2 处

S023 2.8 小结

计算图把复杂模型拆成节点。前向传播求值,反向传播使用局部雅可比与链式法则计算目标对变量的梯度;多个路径的贡献相加,中间结果可缓存复用。下一章将这些梯度用于不同的优化策略。

S024 第 3 章 优化器

反向传播计算目标对参数的梯度,优化器利用梯度更新参数。共同的前向与反向流程可以复用,具体更新规则则可以变化;本章先封装共同流程,再介绍梯度下降变体。

S025 3.1 优化流程的抽象实现

优化器把目标节点求值、可训练变量的梯度计算和参数更新组织起来。MatrixSlow 的 one_step 调用 forward_backward 并累计样本数;梯度按变量累加,get_gradient 返回累计值除以样本数。update 调用由具体优化器实现的 _update,然后清空梯度与计数,准备下一批。这样公共传播流程可复用,更新规则可变化。 详见优化器封装训练步骤。

原书依据 · 1 处

S026 3.2 BGD、SGD和MBGD

批量梯度下降以整个训练集的平均损失计算一次更新;随机梯度下降每次以单个样本的梯度更新;小批量梯度下降用一部分样本的平均梯度更新。批大小为 1 或训练集总数时分别退化为两端。样本顺序若有结构,依次读取不自动等于随机抽样,通常需考虑打乱。 详见批量随机与小批量。

当一批样本使用同一组参数计算,且总损失是各样本损失的算术平均时,求导的线性性使平均损失的梯度等于各样本梯度的平均。因而可以先逐样本累计梯度再更新,也可以将整批输入图中对平均损失反向求导;若逐样本间更新参数,则两者不再是同一次等价计算。 详见平均损失与平均梯度。

一个 n 维样本可存为一行,批大小为 m 时整批特征构成 m×n 矩阵。模型可对整批计算,再把样本损失求平均。标量偏置加到每一行可通过广播表达;书中教学框架不支持广播,示例用全 1 向量复制偏置。书中该段把代码使用的 PerceptionLoss 称作对数损失,应以实际代码中的感知机损失为准。 详见批次维度与广播。

原书依据 · 3 处

S027 3.3 梯度下降优化器

朴素梯度下降按 w←w−ηg 更新,其中 g 是当前批次的平均梯度,η 控制步长。步长太小可能进展缓慢;太大可能在陡峭方向震荡甚至发散。书中的简化循环达到批大小才更新,没有显示向输入节点赋值,也没有处理尾批,实际使用时需要补齐这两步。 详见学习率与朴素更新。

原书依据 · 1 处

S028 3.4 朴素梯度下降法的局限

在不同方向曲率相差很大的损失地形上,同一个学习率会同时控制陡峭方向与平缓方向:过大可能使陡峭方向震荡,过小又可能使平缓方向进展慢。图中的步数只反映该函数和所选初值,并不能作为所有问题的最优学习率。 详见狭长谷中的学习率。

原书依据 · 1 处

S029 3.5 冲量优化器

动量法维护速度 v,按 v←βv−ηg、w←w+v 更新。连续同向的梯度贡献会累积,频繁反向的贡献可能互相抵消,从而改变更新速度与方向。书中代码第一次将 v 直接设为正梯度并加到参数,与给出的公式不一致;按公式从零速度开始,首次更新应为 −ηg。 详见动量累积历史方向。

原书依据 · 1 处

S030 3.6 AdaGrad优化器

AdaGrad 为每个参数分量累计历史梯度平方 s←s+g²,并用 ηg/√(s+ε) 逐元素缩放更新。历史平方和较大的分量,其有效步长较小;累计值不会下降,长期训练可能使步长变得很小。书中把逐元素缩放称为内积并将其直接等同于二阶导数模拟,这些说法不应理解为严格的矩阵内积或精确 Hessian。 详见AdaGrad逐分量缩放。

原书依据 · 1 处

S031 3.7 RMSProp优化器

RMSProp 用 s←βs+(1−β)g² 保存梯度平方的指数加权平均,并用 ηg/√(s+ε) 更新参数。与 AdaGrad 累积全部历史相比,较旧的平方梯度影响会逐渐衰减;ε 用于避免分母接近零。书中代码把首次状态设为 g²,与从零初始化直接套递推的第一步不同。 详见RMSProp衰减平方历史。

原书依据 · 1 处

S032 3.8 Adam优化器

Adam 分别以指数加权平均维护梯度的一阶矩 m 和梯度平方的二阶矩 v,用 m/√(v+ε) 调整各参数更新。常见形式对从零初始化的两个矩做偏差修正;书中为简化省略修正,代码首次直接以 g 和 g² 初始化,不能与标准零初始化加偏差修正视为完全相同。 详见Adam的一二阶动量。

原书依据 · 1 处

S033 3.9 小结

优化器将传播求梯度与更新规则分开。批次平均梯度可逐样本累积,也可通过平均损失一次反向求得;动量和各类自适应方法分别保存梯度或平方梯度的历史,以不同方式调整更新。它们的效果依赖具体目标与参数,不能以单个示例比较普遍优劣。

S035 第 4 章 逻辑回归

这一章从上一章的线性分类器出发,引入平滑的对数损失与 Logistic 输出,再扩展到多分类及交叉熵。对照已有模型的计算方式,可以看清各部件分别改变了训练目标和输出含义。

S036 4.1 对数损失函数

设带符号间隔 t=l(w·x+b),标签 l 为 −1 或 1。感知机损失 max(−t,0) 在 t≥0 时为零;对数损失 log(1+e⁻ᵗ) 即使 t>0 仍为正,但随间隔增大而趋近零,能继续推动正确分类的样本远离边界。它在负间隔很大时近似 −t,导数为 −1/(1+eᵗ)。书中代码截断前向指数防溢出,但截断生效时返回的原公式导数与截断后前向函数的导数不一致。 详见对数损失与分类边界。

原书依据 · 1 处

S037 4.2 Logistic函数

Logistic 函数 σ(z)=1/(1+e⁻ᶻ) 将实数得分映射到 0 与 1 之间,z=0 时为 0.5。它的导数可写成 σ(z)(1−σ(z)),因此可复用已算出的函数值。二分类模型可把 σ(z) 作为正类概率、1−σ(z) 作为负类概率;原书把后者展开时误写成与前者相同的式子,正确形式是 1/(1+eᶻ)。 详见Logistic函数。

原书依据 · 1 处

S038 4.3 二分类逻辑回归

二分类逻辑回归以 Logistic 函数把线性得分转成正类概率,再与阈值比较得到类别。提高正类阈值会减少被判为正类的样本,也可能漏掉更多真实正类;降低阈值则可能增加误报。阈值应结合任务目标及两类错误的代价选择,概率输出本身并不决定唯一阈值。 详见分类阈值与错误代价。

原书依据 · 1 处

S039 4.4 多分类逻辑回归

Softmax 把各类别得分 zᵢ 转为 pᵢ=eᶻⁱ/Σⱼeᶻʲ;概率非负且总和为 1。它保留得分的排序,但某个输出是否接近 1 取决于它与其他得分的差距,不取决于绝对大小。多分类线性模型可写作 softmax(Wx+b)。书中代码直接原地截断输入,这会改变节点值与得分差,和标准 Softmax 不完全等价。 详见Softmax多分类。

原书后续二分类交叉熵推导的若干式子把偏置差写成偏置和,并有遗漏常数项;这里以两得分之差为准。两个类别得分 z₁、z₂ 经 Softmax 后,第一类概率是 1/(1+e⁻⁽ᶻ¹⁻ᶻ²⁾),也就是两得分之差的 Logistic。若每个得分为线性函数,等价二分类模型的权重和偏置分别是两个类别权重、偏置的差;因此只需要差值即可表示同一概率。 详见双类别Softmax与Logistic。

原书依据 · 2 处

S040 4.5 交叉熵

k 类分类可用 k 维独热标签 y 表示真实类别:对应位置为 1,其余为 0。预测概率为 p 时交叉熵为 −Σᵢ yᵢ log pᵢ,独热情况下简化为真实类别概率的负对数。降低它等价于提高真实类别概率;对固定目标分布比较预测时,也等价于最小化对应 KL 散度。 详见独热标签与交叉熵。

对归一化标签 y 和标准 Softmax 概率 p,交叉熵 L=−Σyᵢ log pᵢ 对第 i 个 logit 的导数为 pᵢ−yᵢ。这使 Softmax 与交叉熵可合并求导:真实类别的导数为负,其余类别为正。书中前向对概率加 ε 并截断输入,而反向直接使用 p−y,因此数值处理生效时该反向式不是实际前向函数的精确导数。 详见Softmax交叉熵梯度。

原书依据 · 2 处

S041 4.6 实例:鸢尾花

四个输入特征和三个类别对应 x 为 4×1、权重 W 为 3×4、偏置 b 为 3×1;线性得分 Wx+b 为 3×1,经 Softmax 得到三类概率。训练使用独热标签和交叉熵,预测取最大概率类别。书中示例 150 个样本、批大小 16,最后 6 个梯度没有在本轮显式更新或清理,会留到下一轮;实现时应明确尾批策略。 详见多分类模型的形状。

原书依据 · 1 处

S042 4.7 小结

逻辑回归将线性得分转成概率,并用平滑损失训练;多分类推广到一组得分和 Softmax 概率,交叉熵联系预测概率与标签。神经网络将继续复用线性计算、非线性函数、损失和训练循环。

S043 第 5 章 神经网络

人工神经网络借用生物神经元的启发,但不等同于生物神经系统。本章先介绍神经元和激活函数,再从单神经元的限制引出网络及其组合,最后用实例说明。

S044 5.1 神经元与激活函数

人工神经元先将输入按权重加总并加偏置,得到 z=w·x+b,再以激活函数 φ(z) 产生输出。权重决定线性组合,激活函数决定如何变换得分;选 Logistic 时得到类似二分类逻辑回归的输出。多个神经元连接后可以构成更复杂的网络。 详见神经元与激活函数。

Tanh 和 Logistic 都是平滑 S 形激活函数,但输出范围不同:Tanh 在负方向趋近 −1、正方向趋近 1;Logistic 在负方向趋近 0、正方向趋近 1。两端趋于平坦,意味着输入远离中心时局部导数变小。 详见Tanh与Logistic。

ReLU(z)=max(z,0):正输入原样输出,负输入输出零,负半轴导数为零。Leaky ReLU 在负半轴保留小斜率,例如输出 0.1z,使负输入仍有非零局部梯度。两种分段函数在零点通常不可导,框架需要选定处理约定;书中实现的 ReLU 默认实际上使用 0.1 的负斜率。 详见ReLU与负半轴斜率。

原书依据 · 3 处

S045 5.2 神经网络

一个神经元只能根据输入在某个权重方向上的组合产生输出。多个神经元可以提取不同方向的特征,再由后续神经元对这些输出加权并施加激活函数,构成多层网络。中间结果是后续层的输入;多方向组合为表达更复杂的分类关系提供了基础。 详见连接神经元形成网络。

原书依据 · 1 处

S046 5.3 多层全连接神经网络

全连接层中的每个神经元接收前一层全部输出;同层神经元之间不连接。把各神经元权重向量排成矩阵 W、偏置排成向量 b,一层可写成 h=φ(Wx+b)。若输入维数为 n、该层有 m 个神经元,则 W 为 m×n,b 和输出均为 m×1。输出层提供最终结果,中间层提供隐藏表示。 详见全连接层的矩阵表示。

原书依据 · 1 处

S047 5.4 多个全连接层的意义

单个线性分类边界无法分开中心与外围的同心圆数据。非线性隐藏层先把输入映射为新的特征表示,后续层再对该表示做线性分类,有时可使原空间中不可线性分的数据在新空间可分。升维本身不创造原输入中没有的信息,也不保证任意映射都能分开类别。 详见隐藏层改变表示空间。

增加隐藏神经元可组合更多方向的信息;也可以通过多层组合来形成复杂表示。书中用同心圆例子说明层次结构可能以较少单层宽度表达复杂边界,但宽或深的结构能否有效训练和泛化取决于架构、数据与优化。仅一个没有后续组合的线性分类层不能任意实现非线性边界;书中的宽网络表述须结合非线性隐藏层与输出组合来理解。 详见网络宽度深度与表达。

原书依据 · 2 处

S048 5.5 实例:鸢尾花

示例用两个各含 10 个神经元的隐藏层和三维输出层处理四特征、三类别数据。它复用前述 Softmax 和交叉熵训练流程;报告的是训练集正确率,不能作为独立泛化评估。

S049 5.6 实例:手写数字识别

示例将 28×28 灰度图展平成 784 维向量、缩放像素,再用 784→100→20→10 的全连接网络输出十类概率。它同时给出单层逻辑回归作对照;具体运行结果依赖数据和训练设置。

S050 5.7 小结

隐藏层把输入映射成供后续层使用的新表示。例如书中将 784 维手写数字像素向量映射到 100 维,再交给后续层分类;第一层可视为学习到的特征提取器。隐藏层输出维数由神经元数量决定,可以低于、等于或高于输入维数,并非所有全连接层都必然降维。 详见隐藏层作为特征提取。

原书依据 · 1 处

S051 第 6 章 非全连接神经网络

本章从数据问题出发,用计算图构建二次特征、因子分解机和组合模型。重点是根据特征之间的关系选择连接,而非把每一层都写成全连接。

S052 6.1 带二次项的逻辑回归

对原始特征 x 加入平方和交互项后,逻辑回归对扩展后的特征仍是线性模型,对原始输入则可形成非线性边界。例如同心圆分类可利用 x₁²+x₂² 作为到原点的距离平方。外积 xxᵀ 含全部 n² 个有序二次项,其中 xᵢxⱼ 与 xⱼxᵢ 重复;也可用 xᵀWx+w·x+b 紧凑表达。 详见二次特征与非线性。

按行展平顺序不变的 reshape 只改变矩阵形状,其展平表示对原值的雅可比为单位矩阵。Concat 按顺序拼接各父节点,某父节点的雅可比是在其对应输出区段放置单位阵、其他行置零。reshape 一般不是转置;把列向量变成行向量的特例不能推广到一般矩阵。 详见重塑和拼接的雅可比。

原书依据 · 2 处

S053 6.2 因子分解机

稀疏数据中,某一对特征可能从未同时非零,独立的交互权重就缺少直接训练信号。因子分解机为每个特征配置向量 hᵢ,用 hᵢ·hⱼ 生成交互权重,使不同交互共享参数,可能从共同出现的其他组合中获得泛化能力。共享结构是归纳假设,不保证未见组合的权重一定正确。 详见因子分解共享交互参数。

书中令 H 为 k×n,用 HᵀH 代替 n×n 二次权重,参数从 n² 变为 kn,矩阵秩至多为 k,且必为半正定。即使 k=n,它也不能表示任意不定的二次型,因此书中声称此时等同于任意二次逻辑回归并不成立。书中公式包含自交互项及双向重复项,和常见只计 i 的 FM 形式不同。 详见低秩二次型的边界。

矩阵 W 与向量 x 相乘等于按 x 的各分量对 W 的列加权求和;当输入稀疏时,只需处理非零分量对应的列。若 x 是独热向量,仅一个分量为 1,Wx 就是 W 中对应的一列,因此可用嵌入查表代替大量乘零操作。 详见稀疏输入的嵌入查表。

书中示例意图计算 HᵀH,却把 H 用 reshape 从 k×n 改成 n×k 再相乘。一般矩阵的 reshape 保留线性元素顺序,并不交换行列,因此所得结果通常不是 HᵀH,也不能直接据此验证书中的半正定二次型解释。需要真正的转置操作或等价的索引重排。 详见因子分解示例的转置。

原书依据 · 4 处

S054 6.3 Wide & Deep

书中 Wide & Deep 示例把浅层线性分支与嵌入后的多层神经网络并行结合:两支输出及偏置相加,再经 Logistic 得到概率。Wide 分支直接使用特征,Deep 分支学习非线性表示;还可将不同特征组分别嵌入后拼接。两支的实际收益需要在具体数据上比较。 详见Wide与Deep组合。

原书依据 · 1 处

S055 6.4 DeepFM

书中 DeepFM 示例以因子分解二次项替换 Wide 分支中的简单线性部分,并让 FM 与深层网络共享嵌入矩阵。嵌入向量同时用于二次项的内积和深层网络,两支输出相加后产生预测。这里的二次项包含平方与双向交互,须与常见只计算不同特征对的 FM 形式区分。 详见DeepFM共享嵌入。

原书依据 · 1 处

S056 6.5 实例:泰坦尼克号幸存者

样本唯一编号可能让高容量模型记住训练记录,而新样本的编号没有对应标签,训练集表现因此不能证明泛化能力。书中泰坦尼克号示例删除乘客记录编号,再对类别特征做独热编码;这一判断针对每条记录唯一且无可迁移含义的标识,不能机械推广为所有实体标识都无用。 详见样本唯一标识与过拟合。示例对缺失值填充,对分类特征做独热编码,并分别用 FM、Wide & Deep、DeepFM 处理;不同类别组单独嵌入后再拼接。训练集准确率不代表独立测试表现。

原书依据 · 1 处

S057 6.6 小结

本章围绕二次特征、因子分解和深浅分支的组合,说明网络结构如何从数据问题和已有组件逐步演变。后续章节将继续讨论其他非全连接结构。

S058 第 7 章 循环神经网络

序列样本由按顺序排列的观测组成,例如连续几天的温度或句子里的词。打乱顺序可能改变含义;模型应根据任务处理先后关系。普通全连接模型也能把固定位置作为不同输入来利用,但它不天然共享各时刻的同一递推规则;RNN 将这种顺序依赖编码进结构。 详见序列数据与顺序。

原书依据 · 1 处

S059 7.1 RNN的结构

简单 RNN 按 hₜ=φ(Uxₜ+Whₜ₋₁+b) 处理序列:当前输入与前一状态共同形成当前状态。U、W、b 在各时刻共享,按时间展开后可视为多个相同参数的计算步骤。初始状态需约定;书中首步省略前态项,相当于取零初态。早期信息经递推可能影响后续状态,但不保证长期保留。 详见RNN状态递推。

原书依据 · 1 处

S060 7.2 RNN的输出

序列模型可在每个时刻输出,得到与输入同步的序列;也可只使用最后状态输出一个分类结果。编码器—解码器先将输入序列处理成状态,再产生输出序列,允许输入与输出长度不同。具体输出方式取决于任务,书中举的是一种简化结构。 详见RNN输出与任务。

原书依据 · 1 处

S061 7.3 实例:正弦波与方波

RNN 可按最大序列长度创建每个时刻的输入节点,在构图循环中反复使用同一组 U、W 和 b,把上一状态接入下一时刻。序列分类时,最后状态接入分类网络。书中正弦波示例的 seed 参数没有用于设置随机数生成器,文字称噪声标准差为 1,而代码实际传入 0.6;实验复现应以代码及明确的随机种子为准。 详见时间展开与共享参数。

原书依据 · 1 处

S062 7.4 变长序列

同一 RNN 递推规则可用于不同长度的序列。书中先为最大长度建立各时刻状态,再把分类网络的连接点接到当前样本的最后有效状态;更后的节点不属于本次目标路径。Welding 节点在新旧父节点间更新双向连接,输出直接传递父值。重接线后还需确保相关节点值和梯度缓存失效,避免上一次路径污染本次计算。 详见变长序列选择末状态。

原书依据 · 1 处

S063 7.5 实例:3D电磁发音仪单词识别

示例将传感器采集的数据作为 144 个时刻、每时刻 9 个数值的序列,使用末状态分类 25 个单词。分类准确率的分子是预测正确数,分母必须是同一批被评估样本数;训练集和测试集应各用自身样本数。类别编码也应使用一致的类别到索引映射。书中发音序列示例的训练准确率误除以测试集长度,并分别拟合训练、测试标签编码器;当类别集合不同,后者可能导致索引含义不一致。 详见分类评估的标签与分母。

原书依据 · 1 处

S064 7.6 小结

RNN 在各时刻重复同一状态更新,将过去状态和当前输入结合;按任务可使用每时刻或最后时刻的状态。变长输入的示例通过选择有效末状态连接分类器。

S065 第 8 章 卷积神经网络

图像像素排列在二维网格上,相邻位置之间包含局部结构信息;RGB 图像每个位置还有红绿蓝多个通道。把图像展平后仍保留数值,但常规全连接结构不会显式利用二维邻接关系。卷积网络通过局部滤波和共享规则利用这种空间结构。 详见图像的空间关系。

原书依据 · 1 处

S066 8.1 蒙德里安与莫奈

本节以两幅画作的边缘差异作为示例,提出先把边缘量化,再尝试分类的思路。这个观察说明滤波器可以提取局部特征,并不单凭两幅画证明对所有作品都有效。

S067 8.2 滤波器

滤波器在图像各局部窗口上使用同一组权重求加权和,得到输出特征图。填充决定边缘窗口如何处理:零填充可保留更多边缘位置,不填充通常缩小尺寸;步长决定窗口移动间隔,较大步长减少输出位置。具体输出大小还取决于输入尺寸、核大小和取整规则,并非总是恰好减半。 详见滤波步长与填充。

Sobel 滤波器通过比较局部两侧像素值突出边缘。纵向边缘滤波器的左右列权重符号相反:平坦区域两侧近似抵消,亮度跨越边缘时输出绝对值较大;转置方向的滤波器检测另一方向。两个方向响应的平方和可以综合边缘强度。 详见Sobel边缘检测。

滑动窗口按相同相对位置相乘求和,在严格数学记号下通常称互相关;离散卷积则相当于对核的空间坐标翻转后再做该计算。深度学习中常把互相关操作也称卷积;核由训练得到时命名差别通常不改变表达能力,但理解固定方向滤波器时翻转会改变方向或符号。 详见卷积与互相关的翻转。

原书依据 · 3 处

S068 8.3 可训练的滤波器

滤波器可以作为可训练变量连接到计算图:前向时它对输入局部区域加权,反向时损失对核元素的梯度用于更新权重。书中用已知 Sobel 输出与待训练滤波输出的均方误差作目标,演示从随机核逼近目标核;真实任务中则可直接按任务损失学习有用特征。 详见训练滤波器提取特征。

原书依据 · 1 处

S069 8.4 卷积层

一个卷积核包含与输入通道数对应的二维滤波器,各通道的局部滤波结果相加,再加偏置并可施加激活函数,得到一幅输出特征图。多个卷积核各自产生一幅特征图,所以输出通道数由卷积核数量决定;空间尺寸还由填充、核大小和步长共同决定。 详见卷积核与输出通道。

原书依据 · 1 处

S070 8.5 池化层

池化在每个通道分别用窗口汇总局部值:最大池化取最大值,平均池化取平均值。步长大于 1 时通常减少空间位置,通道数保持不变;具体尺寸取决于窗口、边界和取整,不能一概断言步长 2 时宽高严格减半。池化压缩信息,也会丢弃部分位置细节。 详见池化窗口与下采样。

最大池化的前向计算记录每个窗口中被选中的最大值位置;反向时,该输出的梯度传给所选输入位置,其他位置的局部梯度为零。并列最大值处的导数需要实现约定。书中代码以 offset_w*w+offset_h 展平索引;非方阵行宽应是 h,且偶数 size 的窗口计算也不一定等于指定大小。 详见最大池化的梯度定位。

原书依据 · 2 处

S071 8.6 CNN的结构

一种典型图像分类 CNN 交替使用卷积和池化,逐步形成多通道特征图并压缩空间尺寸,再展平成向量送入全连接层和分类输出。卷积负责学习局部模式,池化减少空间位置,最后的分类层组合提取到的特征;并非所有 CNN 都必须采用这一布局。 详见卷积网络的分层结构。

原书依据 · 1 处

S072 8.7 实例:手写数字识别

示例依次使用两组卷积和池化,将 28×28 单通道图像变为 7×7×3 特征,再展平为 147 维接入 120 个神经元和十类输出。书中代码的学习率是 0.005,文字写成 0.05;代码评估训练集准确率,不能当作独立测试结果。

S073 8.8 小结

理解复杂系统既要认识组成单元,也要观察它们如何连接以及组合后出现的行为。书中用 CNN 说明:局部连接、共享滤波权重和训练共同形成特征提取能力,单独列出节点名称不足以说明整个网络如何工作。 详见组合结构产生新能力。

原书依据 · 1 处

S075 第 9 章 训练与评估

训练流程需要模型、数据、损失和优化器;评估还需要数据集和指标。本章把重复流程交给训练器管理,并解释从不同角度衡量分类结果的指标。

S076 9.1 训练和Trainer训练器

训练器组合输入节点、标签、损失、优化器、批大小和轮次,管理逐样本赋值、梯度累计、参数更新和可选评估。书中将权重初始化与优化器更新留给子类,以适配单机和分布式策略;多个输入通过节点名映射到数据。示例只在满批时更新,尾批未显式处理,实际实现应定义更新或清理策略。 详见训练器封装流程。

原书依据 · 1 处

S077 9.2 评估和Metrics节点

评估节点读取模型输出和真实标签,遍历样本累计统计量,不参与训练的反向传播。多次评估应同时清除节点值与累计计数,确保每次结果对应当前数据集。书中 eval 调用 reset_value,而 Metrics 的 reset 才调用 init;仅清除节点值可能使跨轮统计持续累积。 详见指标节点与状态重置。

原书依据 · 1 处

S078 9.3 混淆矩阵

在确定阈值后,真实负且预测负为 TN,真实负却预测正为 FP;真实正却预测负为 FN,真实正且预测正为 TP。四项同时保留预测与真实类别的信息,是计算正确率、查准率及召回率等指标的基础。 详见二分类混淆矩阵。

原书依据 · 1 处

S079 9.4 正确率

正确率是 (TP+TN)/(TP+TN+FP+FN),表示预测正确样本所占比例。类别分布极不平衡时,始终预测多数类也可能得到很高的正确率,却完全漏掉少数类,因此需要结合各类错误及其他指标判断。 详见正确率与类别失衡。

原书依据 · 1 处

S080 9.5 查准率

正类查准率 precision=TP/(TP+FP),回答“被预测为正的样本中多少真的为正”。分母为零时该比值未定义,需要按评估约定处理。它不同于所有样本的正确率,也不反映所有真实正类中漏掉了多少。 详见查准率衡量预测正类。

原书依据 · 1 处

S081 9.6 查全率

召回率或 TPR=TP/(TP+FN),衡量真实正类中识别出的比例;FPR=FP/(FP+TN),衡量真实负类中误报为正的比例。降低阈值通常使这两项不减;查准率受新增正判样本组成影响,并不保证随阈值单调变化。FPR 的分母是真实负类,不能直接解释为预测正类中的负类比例。 详见召回率与假阳率。

原书依据 · 1 处

S082 9.7 ROC曲线和AUC

ROC 曲线以不同阈值的 FPR 为横轴、TPR 为纵轴,展示不同误报与召回的组合。ROC AUC 可解释为随机正样本得分高于随机负样本的概率,加上相等得分概率的一半;它总结排序能力,不能替代具体阈值下的业务代价或概率校准。书中示例仅统计严格大于,遇到并列得分会低估标准 AUC。 详见ROC与AUC排序。

指标实现必须统一预测与标签编码,并使用适合数组的逐元素逻辑运算。书中阈值预测为 0/1,但 ROC 对负类标签按 −1 统计;直接比较会把正确负类判错。代码还用 Python 的 and 连接数组比较,在多元素数组上会因真值不明确而失败。正确实现需先统一编码、用逐元素逻辑,并处理缺少正类或负类的分母为零。 详见指标实现的编码边界。

原书依据 · 2 处

S083 9.8 小结

训练器组织训练与评估流程;评估节点累计整个数据集的结果。不同指标只反映模型表现的某一方面,应结合问题和错误代价综合选择。

S084 第 10 章 模型保存、预测和服务

模型推理将新样本赋给输入,并在输出节点执行前向计算。离线批量预测面向大量样本,可不要求逐条实时返回;在线服务通过网络接口处理请求,通常更关注单次响应延迟。两者都依赖已训练好的模型结构与参数,并可采用不同部署资源。 详见离线与在线推理。

原书依据 · 1 处

S085 10.1 模型保存

计算图模型的持久化需要保留节点类型、名称和依赖关系,以及可恢复的参数值。书中方案用 JSON 描述图,用 NPZ 按节点名称保存变量矩阵;加载时先重建节点与连接,再按名称恢复值。结构和权重必须属于同一版本,且输入输出节点需能可靠定位。书中文字称不保存输入变量,但示例代码对所有 Variable 都写入字典,实际行为应以代码与输入节点状态为准。 详见保存结构与参数。

原书依据 · 1 处

S086 10.2 模型加载和预测

模型加载根据保存的节点类型、依赖关系重建计算图,再按节点名称恢复变量值。预测时找到输入和输出节点,赋予新样本并执行输出节点前向传播。仅恢复权重不足以确定运算路径;仅恢复图也缺少训练得到的参数。 详见模型加载与前向预测。

原书依据 · 1 处

S087 10.3 模型服务

通用推理服务需要知道模型输入和输出节点、请求与响应的数据格式,以及怎样执行模型。书中将输入输出节点名作为服务签名随模型保存;请求把矩阵的扁平值和形状编码后送到服务,服务按签名赋值、前向计算并序列化结果。具体实现仍需核验输入数量、形状及与模型版本的匹配。 详见推理服务的输入输出契约。

gRPC 使用服务定义描述远程方法的请求和响应;服务端实现方法,客户端通过生成的存根调用。书中用 Protocol Buffers 定义 Predict 服务,并用重复浮点值与维度表示矩阵。自动生成的通信代码处理协议框架,模型加载和推理逻辑仍由服务实现。 详见gRPC与结构化消息。

如果多个请求共享一张会修改节点值和缓存的计算图,且服务允许多个工作线程并发执行,输入赋值和前向计算可能互相覆盖。书中服务实例持有同一输入、输出节点并配置线程池,工程化时需隔离每次推理状态或采用适当同步;还需明确模型版本与输入输出契约。 详见推理图的并发状态。

原书依据 · 3 处

S088 10.4 客户端

客户端将矩阵值与形状编码成请求,通过生成的调用桩访问 Predict,再按响应形状还原矩阵。示例中 pred 已经是 argmax 的整数,却再次访问 pred.value 并取 argmax;应直接使用该整数作为类别。

S089 10.5 小结

保存结构和参数使模型可以在其他环境恢复;服务签名与网络接口进一步把前向预测暴露给调用方。教学实现离工业服务仍有并发、多输入输出、鲁棒性和版本管理等差距。

S090 第 11 章 分布式训练

分布式训练将模型计算或数据分配到多个设备,需同时处理梯度通信、参数更新和性能。本章实现参数服务器与环形规约两种数据并行方案,并评估性能。

S091 11.1 分布式训练的原理

数据并行将样本分给多个工作节点,各节点在模型副本上计算梯度,再通过通信汇总更新;模型并行将模型或计算图拆分到不同节点,跨分片传递中间结果及梯度。前者主要分摊数据计算,后者可处理单设备难以容纳的模型;两者都需要通信与同步。 详见数据并行与模型并行。

同步数据并行中,各工作节点对自己的样本分片求梯度,再汇总为全局批次梯度。各节点样本数相同时,可平均各节点的平均梯度;样本数不同时,应按样本数量加权,或汇总梯度和及样本数后再除。若参数版本不一致,汇总结果一般不等于同一参数下的单机批梯度。 详见分布式梯度汇总。

参数服务器架构由工作节点上传梯度,中心服务汇总并提供更新后的参数;中心节点可能受通信负载限制。环形 AllReduce 让节点沿环交换分块并规约,避免单一中心汇聚;实际加速仍受网络、同步和计算比例制约,不能保证线性扩展。 详见参数服务器与环形规约。

同步训练等待参与节点完成一轮梯度计算再更新,参数版本更易协调,但快节点可能等待慢节点。异步训练允许节点独立提交,减少等待,却可能使用过期参数计算的梯度。限时或部分参与的混合策略折中等待与一致性,效果依赖具体任务和容错策略。 详见同步与异步参数更新。

MPI 提供并行进程通信能力;NCCL 提供面向 GPU 的集合通信操作,书中将其用于说明多 GPU 梯度同步。gRPC 则是书中教学实现选用的远程服务框架。单机多卡在一台机器内组织多个 GPU,多机多卡还要跨机器通信;具体进程和通信方式取决于实现。这些工具处于不同抽象层次,不能只凭名称互相替代。 详见分布式训练通信工具。

原书依据 · 5 处

S092 11.2 基于参数服务器的架构

书中参数服务器示例实际汇总梯度:工作节点上传每个参数的梯度和及样本数;服务端累计并除以总样本数,工作节点拉取平均梯度后各自更新参数。与中心直接更新参数再下发的方式不同,这种设计还要求工作节点的参数和优化器状态保持一致。 详见梯度服务器的同步轮次。

书中同步 Push 等待上一轮所有节点完成 Pull,累计所有节点梯度后唤醒 Pull;最后一个 Pull 清理缓存并允许下一轮 Push。条件变量保护共享计数与缓存,但示例按次数计数,没有展示按工作节点和轮次去重、超时或故障恢复;节点失败或重复请求会破坏屏障进度或统计。 详见同步屏障与故障边界。

若各工作节点在本地使用同一个平均梯度独立更新模型,要获得一致的参数轨迹,需要相同初始参数,以及一致的优化器状态和更新规则。书中初始化接口采用先到的工作节点参数,并返回给其他节点;仅仅共享后续梯度不能自动修复初始参数差异。 详见分布式参数统一初始化。

原书依据 · 3 处

S093 11.3 Ring AllReduce原理

Ring AllReduce 将每个节点的数据分成 N 块。Reduce-Scatter 阶段进行 N−1 轮邻居交换与累加,使每个节点持有不同块的完整规约结果;AllGather 再进行 N−1 轮交换,将各完整块传播给所有节点。若目标是均值,还需按参与样本数或节点数进行正确归一化。 详见环形规约与全量收集。

设每个节点待同步数据量为 M,均分成 N 块,两阶段各 N−1 轮、每轮发送 M/N,则每节点发送总量为 2(N−1)M/N;接收量相同。该值随 N 增加趋近 2M,而不是严格不变;全体节点的总发送量和轮数仍随 N 增长,网络拓扑、延迟和同步开销也影响加速。 详见环形规约的通信量。

原书依据 · 2 处

S094 11.4 Ring AllReduce架构实现

环形训练中每个工作节点既向右邻居发送梯度分块,也作为服务端接收左邻居的消息。书中接口携带阶段与梯度,训练器提供初始化、Scatter 和 Gather 回调;训练流程与网络接收通过条件变量协调。 详见环形节点的双重角色。

书中的训练器在每次 Scatter 发送后等待接收并累加,在 Gather 时用收到的完整分块覆盖对应本地分块,最后调用优化器更新。接收回调先缓存消息并通知训练线程。实现可靠性还依赖阶段、轮次、分块和重复消息的校验;书中示例没有展示完整的故障恢复。 详见环形阶段的状态协调。

书中环形初始化意图将第一个节点参数逐个传递给后续节点。但代码在等待左邻居之前构造 var_weights_dict,然后在回调中更新本地图;若更新函数替换节点矩阵,字典仍可能引用旧矩阵,再发送的就不是刚收到的参数。应在等待和赋值完成后重新读取要转发的参数,并验证所有节点一致。 详见环形初始化的旧值风险。

原书依据 · 3 处

S095 11.5 分布式训练性能评测

比较分布式训练应同时记录计算时间、梯度同步时间、吞吐和所用批大小。书中小规模实验中五节点 PS 的每样本时间低于五节点 Ring,说明通信结构优势会受模型规模、网络和实现开销影响。各实验全局批大小不同,表中每样本时间的加速比不能单独证明达到同等模型质量所需时间的加速。 详见分布式性能比较。

原书依据 · 1 处

S096 11.6 小结

本章实现了中心梯度服务和环形规约两种数据并行方案,比较通信瓶颈、同步等待和故障敏感性;书中的小规模性能实验不能推及所有模型和集群。

S097 第 12 章 工业级深度学习框架

教学框架已经具备计算图、训练与部分模型能力,但工业场景还需要张量、硬件加速、数据接口、并行和部署等配套能力。本章逐项介绍这些扩展方向。

S098 12.1 张量

张量可用多个维度组织数据:标量零阶、向量一阶、矩阵二阶,一批图像可以增加批次维度。把 b 个 n 维样本作为 n×b 矩阵,与 k×n 权重相乘得到 k×b;k×1 偏置通过广播加到每列。以批平均损失求梯度,与固定参数下逐样本梯度求平均等价。 详见张量批次与广播。

原书依据 · 1 处

S099 12.2 计算加速

框架可用易用的前端接口描述模型与训练,再交给针对硬件优化的后端执行计算。前后端分工能兼顾接口和运行效率,也引入跨语言、图转换及调试复杂度;具体框架并不一定都采用完全分离的构图与执行阶段。 详见框架前端与执行后端。

原书依据 · 1 处

S100 12.3 GPU

GPU 提供大量并行计算资源,适合许多可并行的矩阵和张量运算;要发挥优势还需后端支持设备、数据传输和相应算子。使用 GPU 执行通用计算常称 GPGPU;CUDA 是书中介绍的 GPU 并行计算平台,教学框架依赖的 NumPy 代码并不因此自动在 GPU 上运行。实际性能仍取决于负载及硬件。 详见GPU并行与矩阵计算。

CuPy 是书中提到的 GPU 数组计算项目,提供与 NumPy 类似的接口并利用 CUDA。它被用作教学框架探索 GPU 加速的可能途径;接口相似不意味着整个程序无需适配,设备数据、算子兼容和性能仍需针对具体版本验证。 详见CuPy与GPU数组计算。

原书依据 · 2 处

S101 12.4 数据接口

数据接口负责将文本、类别或图像等原始数据读取并转换为模型可用表示。随着计算加快,读取和特征处理可能成为瓶颈;批量、流水线、并行读取和缓存可按场景优化。将一致的预处理纳入可部署流程,有助于减少训练与推理数据处理不一致。 详见训练数据输入管线。

原书依据 · 1 处

S102 12.5 模型并行

模型过大时可将计算图拆分并放到不同设备,在跨设备依赖处传输中间值,反向时也需传递梯度。框架可分析分片、放置和通信节点来隐藏部分复杂性,但切分方式及通信成本决定实际效果。它与复制模型、分配样本并汇总梯度的数据并行解决的是不同问题。 详见计算图的模型并行。

虚拟 GPU 是对 GPU 计算资源的抽象,书中将其作为硬件或网络层支持更大模型的一种方向。具体虚拟化方案的资源划分、跨设备通信和内存语义各不相同;不能仅凭“虚拟 GPU”名称就假定多张卡自动形成一块可直接使用的大显存。 详见虚拟GPU与资源抽象。

原书依据 · 2 处

S103 12.6 静态图和动态图

静态图先形成可分析的计算结构,再执行或编译;动态图按运行过程构造或记录当前操作,更方便表达数据相关控制流与逐步调试。前者可利用已知全图做优化,后者提供灵活性,但具体框架可以混合两种方式,性能不由名称单独决定。 详见静态图与动态图。

原书依据 · 1 处

S104 12.7 混合精度训练

混合精度在合适运算中使用较低精度,并保留部分较高精度计算或参数,以节省存储、利用硬件吞吐。低精度动态范围与有效位数有限,过大数值可能溢出,绝对值过小可能下溢,微小更新也可能被舍入;高精度累加可缓解部分误差,但不保证消除所有数值问题。 详见混合精度的范围与舍入。

原书依据 · 1 处

S105 12.8 图优化和编译优化

图优化可将适合共同执行的操作融合,减少中间结果或调用开销;编译优化则可针对目标硬件生成更高效的执行代码。只有在数据依赖、参数和语义允许时才能合并节点;图形外观相似并不保证两个计算可以安全复用。 详见计算图融合与编译。

原书依据 · 1 处

S106 12.9 移动端和嵌入式端

端侧推理可以减少网络往返,但设备的算力、内存、功耗和硬件接口有约束。书中提出选择小模型、训练后压缩或降低推理精度,并将模型转换为目标平台支持的格式。压缩和量化的速度收益与精度损失需要在目标设备及任务上验证。 详见端侧推理的模型适配。

原书依据 · 1 处

S107 12.10 小结

全书以实现教学框架串起机器学习模型与计算图;工业框架还需解决高性能、可靠性、设备和部署方面的大量工程问题。

跨章综合

同一个训练过程贯穿不同模型:先确定输入及参数,构造输出和损失,执行前向与反向,再按批次更新。模型之间的主要区别在计算图如何连接:全连接层组合全部前层特征,因子分解用共享向量表达特征交互,RNN 把上一步状态送入下一步,CNN 用共享局部核处理空间结构。它们共同依赖梯度,但对数据结构作了不同假设。

训练损失下降并不自动证明模型在新数据上可靠。需要区分训练集与测试集,按错误代价选择准确率、查准率、召回率或 ROC 等指标;实现层面还需核查标签编码、状态重置及数值处理。书中若干示例的公式、代码或评估存在边界,相关小节和卡片分别记录了可定位的差异。

工程规模扩大后,正确的单次计算还必须在保存、恢复、并发和通信中保持一致:图结构和参数共同构成推理模型;数据并行需汇总同一参数版本上的梯度,中心服务与环形规约各有通信和容错取舍。性能比较需要固定测量条件并区分吞吐与达到目标效果的时间。

发散与实践

以下为读者后续计划,尚未执行:一是从 tinygrad 的版本化源码深读自动求导,比较书中显式雅可比和实际梯度路径;二是用小样本核对分类指标与代码边界。前者已准备官方入口和首轮机制映射,后者以可手算预期作为验证基础。

生成进度与管理记录

《用Python实现深度学习框架》概览

Skill 版本:book-notes v24

执行模式:light

建档进度:done

四象限评级:经典原理

理由:高信息浓度、高稳定性。抽样包括前言、模型与训练、优化方法、神经元、分布式训练和工业框架概述:书中解释计算图、梯度及模型设计动机;基础数学与机制较耐久,示例代码和具体工程技术则随版本变化。

整书笔记 · 阅读覆盖 · 工作流交接

章节进度追踪表

章节号 章节标题 状态 卡片数
01 机器学习与模型 done 6
02 计算图 done 18
03 优化器 done 10
04 逻辑回归 done 8
05 神经网络 done 8
06 非全连接神经网络 done 9
07 循环神经网络 done 6
08 卷积神经网络 done 10
09 训练与评估 done 8
10 模型保存、预测和服务 done 6
11 分布式训练 done 14
12 工业级深度学习框架 done 11
S003 前言 done 5
S004 内容概览 done 0
S005 读者对象 done 0
S009 第 1 章 机器学习与模型 done 0
S010 1.1 模型 done 1
S011 1.2 参数与训练 done 3
S012 1.3 损失函数 done 1
S013 1.4 计算图的训练 done 1
S014 1.5 小结 done 0
S015 第 2 章 计算图 done 1
S016 2.1 什么是计算图 done 1
S017 2.2 前向传播 done 2
S018 2.3 函数优化与梯度下降法 done 4
S019 2.4 链式法则与反向传播 done 4
S020 2.5 在计算图上执行梯度下降法 done 1
S021 2.6 节点类及其子类 done 3
S022 2.7 用计算图搭建ADALINE并训练 done 2
S023 2.8 小结 done 0
S024 第 3 章 优化器 done 0
S025 3.1 优化流程的抽象实现 done 1
S026 3.2 BGD、SGD和MBGD done 3
S027 3.3 梯度下降优化器 done 1
S028 3.4 朴素梯度下降法的局限 done 1
S029 3.5 冲量优化器 done 1
S030 3.6 AdaGrad优化器 done 1
S031 3.7 RMSProp优化器 done 1
S032 3.8 Adam优化器 done 1
S033 3.9 小结 done 0
S035 第 4 章 逻辑回归 done 0
S036 4.1 对数损失函数 done 1
S037 4.2 Logistic函数 done 1
S038 4.3 二分类逻辑回归 done 1
S039 4.4 多分类逻辑回归 done 2
S040 4.5 交叉熵 done 2
S041 4.6 实例:鸢尾花 done 1
S042 4.7 小结 done 0
S043 第 5 章 神经网络 done 0
S044 5.1 神经元与激活函数 done 3
S045 5.2 神经网络 done 1
S046 5.3 多层全连接神经网络 done 1
S047 5.4 多个全连接层的意义 done 2
S048 5.5 实例:鸢尾花 done 0
S049 5.6 实例:手写数字识别 done 0
S050 5.7 小结 done 1
S051 第 6 章 非全连接神经网络 done 0
S052 6.1 带二次项的逻辑回归 done 2
S053 6.2 因子分解机 done 4
S054 6.3 Wide & Deep done 1
S055 6.4 DeepFM done 1
S056 6.5 实例:泰坦尼克号幸存者 done 1
S057 6.6 小结 done 0
S058 第 7 章 循环神经网络 done 1
S059 7.1 RNN的结构 done 1
S060 7.2 RNN的输出 done 1
S061 7.3 实例:正弦波与方波 done 1
S062 7.4 变长序列 done 1
S063 7.5 实例:3D电磁发音仪单词识别 done 1
S064 7.6 小结 done 0
S065 第 8 章 卷积神经网络 done 1
S066 8.1 蒙德里安与莫奈 done 0
S067 8.2 滤波器 done 3
S068 8.3 可训练的滤波器 done 1
S069 8.4 卷积层 done 1
S070 8.5 池化层 done 2
S071 8.6 CNN的结构 done 1
S072 8.7 实例:手写数字识别 done 0
S073 8.8 小结 done 1
S075 第 9 章 训练与评估 done 0
S076 9.1 训练和Trainer训练器 done 1
S077 9.2 评估和Metrics节点 done 1
S078 9.3 混淆矩阵 done 1
S079 9.4 正确率 done 1
S080 9.5 查准率 done 1
S081 9.6 查全率 done 1
S082 9.7 ROC曲线和AUC done 2
S083 9.8 小结 done 0
S084 第 10 章 模型保存、预测和服务 done 1
S085 10.1 模型保存 done 1
S086 10.2 模型加载和预测 done 1
S087 10.3 模型服务 done 3
S088 10.4 客户端 done 0
S089 10.5 小结 done 0
S090 第 11 章 分布式训练 done 0
S091 11.1 分布式训练的原理 done 5
S092 11.2 基于参数服务器的架构 done 3
S093 11.3 Ring AllReduce原理 done 2
S094 11.4 Ring AllReduce架构实现 done 3
S095 11.5 分布式训练性能评测 done 1
S096 11.6 小结 done 0
S097 第 12 章 工业级深度学习框架 done 0
S098 12.1 张量 done 1
S099 12.2 计算加速 done 1
S100 12.3 GPU done 2
S101 12.4 数据接口 done 1
S102 12.5 模型并行 done 2
S103 12.6 静态图和动态图 done 1
S104 12.7 混合精度训练 done 1
S105 12.8 图优化和编译优化 done 1
S106 12.9 移动端和嵌入式端 done 1
S107 12.10 小结 done 0

非正文排除

spine项 类型 排除理由
S000 封面图 封面图,不含本书实质正文
S001 版权信息 版权信息,不含本书实质正文
S002 纯目录 纯目录,不含本书实质正文
S006 代码资源及联系信息 代码资源及联系信息,不含本书实质正文
S007 致谢 致谢,不含本书实质正文
S008 第一部分标题页 第一部分标题页,不含本书实质正文
S034 第二部分标题页 第二部分标题页,不含本书实质正文
S074 第三部分标题页 第三部分标题页,不含本书实质正文
S108 作者简介 作者简介,不含本书实质正文
S109 电子书售后信息 电子书售后信息,不含本书实质正文

待关联术语

术语名 出现章节 一句话语境
LSTM 7.2 作为更复杂的循环网络结构被提及,未展开。
Photoshop 8.1 示例使用软件中的查找边缘操作。
VGG16 8.6 作为典型 CNN 层次结构图示,未展开其完整设计。
Socket 11.1 列作进程间通信技术,未展开。
RDMA 11.1 列作进程间通信技术,未展开。
Tree AllReduce 11.3 被提及为树状规约架构,未展开。
AlexNet 11.5、12.3 作为实验模型及历史竞赛模型提及,未展开结构。
词袋编码 12.4 作为文本特征处理示例提及,未展开。
Dropout 前言 提及为训练中引入随机性的正则化方法,未展开。
网格搜索 前言 作为超参数搜索方法提及,未展开。
随机搜索 前言 作为超参数搜索方法提及,未展开。
贝叶斯优化 前言 作为非参数优化方法提及,未展开。
遗传算法 前言 作为优化方法提及,未展开。

引用文献

标题 类型 出现章节 一句话语境
《深入理解神经网络:从逻辑回归到CNN》 书 前言、2.7、3.6、4.5、5.4 推荐数学基础、测试集评估、二阶优化、KL 散度及过拟合的进一步阅读。
《人有人的用处》 书 6.6 章节结尾引用维纳的警句。
《现代操作系统》 书 前言 作者背景中提到的操作系统书籍。
《浮士德》 书 前言 以人物引语说明理论与体验的关系。
MapReduce 框架 11章引言 被用作分布式计算的类比,未展开。
Spark 框架 11章引言 被用作分布式计算的类比,未展开。

资金安全问题案例

问题标题 问题卡 解决方案卡(如有) 出现章节 一句话说明

实践卡进度

序号 实践标题 实践方式 状态 关联章节 产出
1 深读自动求导实现 实现深读 done 2、3 计划及首轮资料
2 核对分类指标实现 真实任务 done 9 验证计划

实践候选筛选:done

筛选记录:自动求导选择成熟实现深读;分类指标选择有限范围核对。分布式多机部署和完整框架重写暂不采用,前者依赖环境且与源码阅读目的重合,后者成本高于当前理解目标。以上状态表示计划交付,不表示实践已执行。

轻量模式:未执行笔记复核、独立审查及审查结果优化。

相关主题

从本书的主题进入跨书阅读,对照其他书籍的讲解。下方数量包含主题关联的全部卡片与书籍。

暂无公开主题。