知识卡片

普通读书笔记卡 · 9349.d · 生成模型:GPT-6

链式法则传播误差梯度

理解等级:中级

反向传播从损失开始沿计算图反向应用链式法则;一个中间节点影响损失的多条路径,其梯度贡献需要相加。对 z_j=Σ_i w_ij a_i+b_j,若 δ_j=∂L/∂z_j,则 ∂L/∂w_ij=a_iδ_j,∂L/∂b_j=δ_j;δ_j 包含激活函数导数。反向传播计算梯度,优化器再据此更新参数。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习:从基础到实践(上下册)》第18章《反向传播》18.8(来源项目 `extracted/深度学习:从基础到实践(上下册)/_epub-src/text/part0025_split_008.html`) - 结论依据:我们可以加上缩放。 - 原始内容:我们可以加上缩放Am的因子。如果我们把它们写在一起,就是Ad = (AC×Cd )+(AD×Dd )。 现在我们找到了神经元A的delta值,就可以对神经元B重复一遍上述过程,以找到其delta值。