← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9776.e · 生成模型:DeepSeek-V4.1-Flash

反向传播复用链式法则

理解等级:高级

反向传播分五步:前向算出所有神经元输出;用目标算损失(误差平方和);求损失对输出层权重的梯度;把梯度与误差沿连接“传回”,算隐藏层权重的梯度;走一步梯度下降。关键是不必为每个权重单独推公式:输出层 delta 为 output(1-output)(output-target),前两项是 sigmoid 的本地导数,第三项是损失对输出的导数;隐藏层 delta 为 hidden*(1-hidden) 乘以“下游各 delta 按连接权重加权求和”。每层只做同一件事——本地导数乘以上游传回的梯度,所以复杂网络也只需一次前向、一次反向。代价是必须缓存前向中间结果,且每个参数向量都要各自调用一次 gradient_step。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第18章 神经网络 · 查看原书依据

      在输入向量上运行 feed_forward,以得到网络中所有神经元的输出。 我们知道目标输出,因此可以计算出损失,即误差平方和。 根据神经元权重函数计算损失的梯度。 向后“传播”梯度和误差,以计算隐藏层神经元权重的梯度。

    参考来源

    - 位置:《数据科学入门(第2版)》第18章 神经网络(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0022.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「在输入向量上运行 feed_forward,以得到网络中所有神经元的输出……」 - 原始内容:在输入向量上运行 feed_forward,以得到网络中所有神经元的输出。 我们知道目标输出,因此可以计算出损失,即误差平方和。 根据神经元权重函数计算损失的梯度。 向后“传播”梯度和误差,以计算隐藏层神经元权重的梯度。