知识卡片
反向传播用链式法则回传误差
反向传播要回答一个问题:损失对每一层 W、b 的偏导是多少。做法是把链式法则按层组织起来,先算一个中间量——损失对本层线性输出的偏导,记作
δ(l) = ∂L/∂z(l)
有了 δ,参数梯度就是直接的代数式:∂L/∂W(l) = δ(l)(o(l−1))ᵀ,∂L/∂b(l) = δ(l)。所以整个算法只需要把 δ 从最后一层往前递推:
- 输出层:δ(L) = (o(L) − y) ⊙ σ′(z(L))
- 隐藏层:δ(l) = (W(l+1))ᵀ δ(l+1) ⊙ σ′(z(l))
直觉:后一层的误差按权重”原路返回”——乘 Wᵀ 相当于把误差按连接强度加权求和分给前一层——再乘本层激活的导数。如果本层处在饱和区,σ′ 接近 0,回传的误差就被压扁一次。⊙ 是 Hadamard 积,即逐元素相乘,因为激活是逐元素作用的。
单样本的完整流程:
- 前向算出各层 o(l)、z(l),并保存(反向要用)。
- 算输出层 δ(L)。
- 从 l = L−1 倒推到 2,逐个算 δ(l)。
- 用 δ 和各层输出更新 W、b。
- 取下一个样本重复,直到参数变化小于阈值或达到最大迭代次数。
原文的实例把这条链展开成具体数字:先算输出均方误差 E_total = 0.27481 + 0.02356 = 0.29837,再对 w₅ 逐项求 ∂E/∂out、∂out/∂net、∂net/∂w,取学习率 0.5 更新;然后用同样方式处理隐藏层的 w₁。这个过程说明”链式法则”在工程上就是沿着计算图把局部导数一路乘回去。
代价:必须保存前向的中间结果,显存随深度与 batch 增长;而这条连乘链正是梯度消失/爆炸的根源(见 [[梯度消失源于导数连乘]])。这套推导不只属于 DNN,CNN、RNN 也用它,只是在各自的层里换掉局部导数的形式。
结构图:
flowchart TD
F["前向保存各层 o(l)、z(l)"] --> DL["输出层 δ(L)=(o−y)⊙σ'(z(L))"]
DL --> DH["隐藏层 δ(l)=(W(l+1))ᵀδ(l+1)⊙σ'(z(l))"]
DH --> G["梯度 ∂L/∂W(l)=δ(l)·o(l−1)ᵀ"]
G --> U["更新 W(l)、b(l)"]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第15章 深度神经网络模型 15.2.2 反向传播 · 查看原书依据
本章主要介绍深度神经网络模型及其相关原理,其中很多东西都是深度学习中通用的,比如前向传播和反向传播过程,同样也适用于卷积神经网络CNN和循环神经网络RNN
参考来源
- 位置:《机器学习基础:从入门到求职》第15章《第15章 深度神经网络模型》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00018.html)
- 结论依据:原文用 Hadamard 积与链式求导推出输出层 δ 和隐藏层 δ 的递推式,并给出完整 BP 迭代步骤与数值实例。
- 原始内容:本章主要介绍深度神经网络模型及其相关原理,其中很多东西都是深度学习中通用的,比如前向传播和反向传播过程,同样也适用于卷积神经网络CNN和循环神经网络RNN