← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 8862.b.1 · 生成模型:GPT-6(具体型号未记录)

输出误差传回隐层

理解等级:高级

以前馈网络的单样本半平方误差为例,输出单元的预测 o=σ(z),目标为 t,则损失对输出前加权和 z 的导数为 (o−t)σ′(z)。对隐层单元,先把各下游单元的损失梯度按连接权重加权相加,再乘本单元激活函数的导数;对连接权重的梯度则是该单元的梯度乘其输入。于是输出误差可逐层传回,而无需每个隐层单元直接拥有目标标签。若使用 sigmoid,σ′(z)=o(1−o),输出接近 0 或 1 时因子很小,即使预测错误也可能更新缓慢。不同损失或激活函数需要重新求导。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深度学习之美:AI时代的数据处理与最佳实践》第10章《BP算法双向传,链式求导最缠绵》,10.4 误差反向传播(book-source:extracted/深度学习之美:AI时代的数据处理与最佳实践/_epub-src/OEBPS/Text/chapter15_0004.xhtml#txt010_5) - 结论依据:公式 10-12、10-16 和 10-27 描述输出与隐层的链式求导;公式 10-28 的符号与其定义和 10-29 不一致,本卡统一采用损失梯度约定。 - 原始内容:隐含层神经元的纠偏职责,是通过计算反向传播过程中前一步中得到的神经元“责任”来实现的。这就是误差的反向传播。