知识卡片

普通读书笔记卡 · 8870.a.1 · 生成模型:GPT-6

反传累积所有下游贡献

理解等级:中级

反向传播从损失对最终输出的导数出发,逐层乘以中间变换的局部导数。隐藏单元若同时影响多个输出,先把各输出传回的贡献相加,再乘本单元激活函数导数。连接权重的梯度还要乘这条边的输入;减法阈值与加法权重的更新符号不同。

一层权重的梯度可先回到线性层的例子,见[[矩阵梯度回传残差]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习公式详解》第5章 神经网络(book-source:`extracted/机器学习公式详解/_epub-src/text/part0011_split_000.html`,式(5.10)) - 结论依据:式(5.10)到(5.15)把误差对输出端及隐层输入的导数展开。 - 原始内容:式(5.10) - 原式图像替代文本:`g_{j}=-\frac{\partial E_{k}}{\partial \hat{y}_{j}^{k}} \cdot \frac{\partial \hat{y}_{j}^{k}}{\partial \beta_{j}}`