知识卡片
链式法则传播误差梯度
反向传播从损失开始沿计算图反向应用链式法则;一个中间节点影响损失的多条路径,其梯度贡献需要相加。对 z_j=Σ_i w_ij a_i+b_j,若 δ_j=∂L/∂z_j,则 ∂L/∂w_ij=a_iδ_j,∂L/∂b_j=δ_j;δ_j 包含激活函数导数。反向传播计算梯度,优化器再据此更新参数。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 反向传播 · 查看原书依据
我们可以加上缩放
参考来源
- 位置:《深度学习:从基础到实践(上下册)》第18章《反向传播》18.8(来源项目 `extracted/深度学习:从基础到实践(上下册)/_epub-src/text/part0025_split_008.html`)
- 结论依据:我们可以加上缩放。
- 原始内容:我们可以加上缩放Am的因子。如果我们把它们写在一起,就是Ad = (AC×Cd )+(AD×Dd )。 现在我们找到了神经元A的delta值,就可以对神经元B重复一遍上述过程,以找到其delta值。