← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 3788.d

反向传播使多层权重可训练

理解等级:中级

反向传播为多层前馈网络提供按输出误差调整各层权重的办法:

  1. 正向:每层先算加权和 z=Wa+b(a 为上一层输出),再经激活函数得本层输出 f(z),直到得出预测和损失(如平方误差)。
  2. 反向:用链式法则——复合函数的导数等于各环节导数相乘——求梯度。损失对某层权重的导数 = 损失对该层 z 的导数 × 上一层输出 a;前一项可从后一层已算好的结果乘以本层激活函数的导数得到,所以从输出层往回逐层递推。
  3. 更新:各层权重沿梯度反方向调整一小步。

以 Sigmoid f(z)=1/(1+e^(−z)) 为例,导数 f′(z)=f(z)[1−f(z)],可直接用正向时算好的输出 a 写成 a(1−a);演示:a=0.8 时导数为 0.8×0.2=0.16。

隐藏层与非线性激活扩展了单层线性模型的表达范围;但能训练多层网络不等于任何结构都能学到目标函数,结果仍取决于数据、架构和优化条件。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 1 9 . 1 . 2 神 经 网 络 算 法 发 展 历 程 · 查看原书依据

      1986年,Rumelhart和McCelland及其研究小组在多层神经网络模型的基础上,提出了多层神经网络权值修正的反向传播(Back Propagation,BP)算法。BP算法解决了多层前向神经网络的学习问题,证明了多层神经网络具有极强的学习能力。

    参考来源

    - 位置:《智能算法导论》第 180 项《1 9 . 1 . 2 神 经 网 络 算 法 发 展 历 程》(源文件:`_epub-src/EPUB/xhtml/chapter19_0003.xhtml`) - 补充位置:第 181 项《1 9 . 2 神 经 网 络 算 法 实 现》(源文件:`_epub-src/EPUB/xhtml/chapter19_0004.xhtml`) - 结论依据:第 180 项正文把 BP 称为多层神经网络权值修正算法;第 181 项式(19-28)至(19-40)展开正向、反向计算与 Sigmoid 导数。卡片用链式法则概括该方法,并限定原书“极强学习能力”的宽泛表述。z=Wa+b 与梯度分解取自式(19-34)至(19-41);a=0.8 的导数为补充的教学演算,非书中数据。 - 原始内容:在多层神经网络模型的基础上,提出了多层神经网络权值修正的反向传播(Back Propagation,BP)算法。BP算法解决了多层前向神经网络的学习问题……对BP算法进行了详尽的分析,解决了长期以来没有权值调整有效算法的难题。