← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9635.m · 生成模型:DeepSeek-V4.1-Flash

误差信号的逐层反传

理解等级:高级

设第 l 层神经元 j 的输出 o_j=f(net_j),net_j=Σ_i ω_ji o_i,取输出层总误差 E=½Σ_u(d_u-o_u)²,u 遍历输出单元。梯度下降给出 Δω_ji=ηδ_j o_i,关键是误差信号 δ_j:输出层 δ_j=(d_j-o_j)o_j(1-o_j);隐层 δ_j=o_j(1-o_j)Σ_k δ_k ω_kj,k 遍历第 l+1 层。三点值得注意:①Sigmoid 导数 o(1-o) 直接乘在 δ 上,输出接近 0 或 1 时导数极小,学习几乎停滞;②隐层的 δ 是本层导数乘以后一层 δ 的加权和,误差由此逐层向输入端回传;③δ 与后一层权值 ω_kj 相乘,权值本身小则信号被反复缩小。这正是深网梯度弥散的数学根源。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第6章 神经网络与深度学习(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter8_0001.xhtml,6.1.4 感知器) - 结论依据:原文用链式法则分别推导输出层与隐层的 δ,输出层结果显含 Sigmoid 导数 o(1-o),隐层结果含后一层 δ 的加权和。 - 原始内容:由式(6.5)计算可得Sigmoid函数的导数为: 故对于输出层神经元j,有 δj=(dj-oj)oj(1-oj)