知识卡片
输出误差传回隐层
以前馈网络的单样本半平方误差为例,输出单元的预测 o=σ(z),目标为 t,则损失对输出前加权和 z 的导数为 (o−t)σ′(z)。对隐层单元,先把各下游单元的损失梯度按连接权重加权相加,再乘本单元激活函数的导数;对连接权重的梯度则是该单元的梯度乘其输入。于是输出误差可逐层传回,而无需每个隐层单元直接拥有目标标签。若使用 sigmoid,σ′(z)=o(1−o),输出接近 0 或 1 时因子很小,即使预测错误也可能更新缓慢。不同损失或激活函数需要重新求导。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- BP算法双向传,链式求导最缠绵 10.4 误差反向传播 · 查看原书依据
隐含层神经元的纠偏职责,是通过计算反向传播过程中前一步中得到的神经元“责任”来实现的。
参考来源
- 位置:《深度学习之美:AI时代的数据处理与最佳实践》第10章《BP算法双向传,链式求导最缠绵》,10.4 误差反向传播(book-source:extracted/深度学习之美:AI时代的数据处理与最佳实践/_epub-src/OEBPS/Text/chapter15_0004.xhtml#txt010_5)
- 结论依据:公式 10-12、10-16 和 10-27 描述输出与隐层的链式求导;公式 10-28 的符号与其定义和 10-29 不一致,本卡统一采用损失梯度约定。
- 原始内容:隐含层神经元的纠偏职责,是通过计算反向传播过程中前一步中得到的神经元“责任”来实现的。这就是误差的反向传播。