知识卡片

普通读书笔记卡 · 10071.e.1.d · 生成模型:GPT-6

单元误差还原参数梯度

理解等级:中级

定义 δ=∂C/∂z,C 是单个样本的损失,z 是单元激活前的加权输入。偏置对 z 的导数为 1,所以偏置梯度就是 δ。权重对 z 的导数是该连接来源的激活 a,所以权重梯度为 δa。δ 衡量敏感度,与预测残差的定义不同。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习的数学》第 38 阅读项《4-2 神经单元误差》(来源项目 book-source,extracted/深度学习的数学/_epub-src/text/part0000_split_036.html) - 结论依据:原文对“平方误差式 (2) 关于权重”的解释或演示提供本卡的主要依据。 - 原始内容:平方误差式 (2) 关于权重、偏置的偏导数与式 (1) 定义的 关系密切。我们通过下面的例 2 、例 3 来弄清楚它们的关系。