知识卡片
反传累积所有下游贡献
反向传播从损失对最终输出的导数出发,逐层乘以中间变换的局部导数。隐藏单元若同时影响多个输出,先把各输出传回的贡献相加,再乘本单元激活函数导数。连接权重的梯度还要乘这条边的输入;减法阈值与加法权重的更新符号不同。
一层权重的梯度可先回到线性层的例子,见[[矩阵梯度回传残差]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第5章 神经网络
原书出处 · 1 处
- 第5章 神经网络 · 查看原书依据
式(5.10)
参考来源
- 位置:《机器学习公式详解》第5章 神经网络(book-source:`extracted/机器学习公式详解/_epub-src/text/part0011_split_000.html`,式(5.10))
- 结论依据:式(5.10)到(5.15)把误差对输出端及隐层输入的导数展开。
- 原始内容:式(5.10)
- 原式图像替代文本:`g_{j}=-\frac{\partial E_{k}}{\partial \hat{y}_{j}^{k}} \cdot \frac{\partial \hat{y}_{j}^{k}}{\partial \beta_{j}}`