知识卡片
平方误差梯度的符号
若 L=½(a−y)²,则相对于输出 a 的梯度是 a−y;梯度下降更新时减去该梯度。也可定义负梯度为 y−a,但此时必须加上该量。原书在把 delta 称为误差导数后写成标签减输出,同时又用减法更新,符号不一致;均方误差是否含 ½ 或求均值还会改变常数因子。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 反向传播 · 查看原书依据
标签中的值减去该神经元的输出
参考来源
- 位置:《深度学习:从基础到实践(上下册)》第18章《反向传播》18.6(来源项目 `extracted/深度学习:从基础到实践(上下册)/_epub-src/text/part0025_split_006.html`)
- 结论依据:标签中的值减去该神经元的输出。
- 原始内容:标签中的值减去该神经元的输出。如曲线箭头所示,我们用其神经元保存该delta值 这个小小的计算与前面的碗形图非常吻合。