← 返回刚才阅读的位置

知识卡片

结构图卡 · 9836.e · 生成模型:DeepSeek-V4.1-Flash

反向传播用链式法则回传误差

理解等级:高级

反向传播要回答一个问题:损失对每一层 W、b 的偏导是多少。做法是把链式法则按层组织起来,先算一个中间量——损失对本层线性输出的偏导,记作

δ(l) = ∂L/∂z(l)

有了 δ,参数梯度就是直接的代数式:∂L/∂W(l) = δ(l)(o(l−1))ᵀ,∂L/∂b(l) = δ(l)。所以整个算法只需要把 δ 从最后一层往前递推:

  • 输出层:δ(L) = (o(L) − y) ⊙ σ′(z(L))
  • 隐藏层:δ(l) = (W(l+1))ᵀ δ(l+1) ⊙ σ′(z(l))

直觉:后一层的误差按权重”原路返回”——乘 Wᵀ 相当于把误差按连接强度加权求和分给前一层——再乘本层激活的导数。如果本层处在饱和区,σ′ 接近 0,回传的误差就被压扁一次。⊙ 是 Hadamard 积,即逐元素相乘,因为激活是逐元素作用的。

单样本的完整流程:

  1. 前向算出各层 o(l)、z(l),并保存(反向要用)。
  2. 算输出层 δ(L)。
  3. 从 l = L−1 倒推到 2,逐个算 δ(l)。
  4. 用 δ 和各层输出更新 W、b。
  5. 取下一个样本重复,直到参数变化小于阈值或达到最大迭代次数。

原文的实例把这条链展开成具体数字:先算输出均方误差 E_total = 0.27481 + 0.02356 = 0.29837,再对 w₅ 逐项求 ∂E/∂out、∂out/∂net、∂net/∂w,取学习率 0.5 更新;然后用同样方式处理隐藏层的 w₁。这个过程说明”链式法则”在工程上就是沿着计算图把局部导数一路乘回去。

代价:必须保存前向的中间结果,显存随深度与 batch 增长;而这条连乘链正是梯度消失/爆炸的根源(见 [[梯度消失源于导数连乘]])。这套推导不只属于 DNN,CNN、RNN 也用它,只是在各自的层里换掉局部导数的形式。

结构图:

flowchart TD
    F["前向保存各层 o(l)、z(l)"] --> DL["输出层 δ(L)=(o−y)⊙σ'(z(L))"]
    DL --> DH["隐藏层 δ(l)=(W(l+1))ᵀδ(l+1)⊙σ'(z(l))"]
    DH --> G["梯度 ∂L/∂W(l)=δ(l)·o(l−1)ᵀ"]
    G --> U["更新 W(l)、b(l)"]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第15章《第15章 深度神经网络模型》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00018.html) - 结论依据:原文用 Hadamard 积与链式求导推出输出层 δ 和隐藏层 δ 的递推式,并给出完整 BP 迭代步骤与数值实例。 - 原始内容:本章主要介绍深度神经网络模型及其相关原理,其中很多东西都是深度学习中通用的,比如前向传播和反向传播过程,同样也适用于卷积神经网络CNN和循环神经网络RNN