知识卡片
误差纠正学习规则
有监督网络的基本做法是用误差信号驱动调权。设第 t 步输出神经元 k 的实际输出 y_k(t)、期望输出 d_k(t),误差 e_k(t)=d_k(t)-y_k(t);用 e_k 构造能量函数 E_k(t),最小化它即让输出逼近期望。Widrow-Hoff 规则给出最简形式:Δω_ki(t)=η e_k(t) x_i(t),ω_ki(t+1)=ω_ki(t)+Δω_ki(t)。其中 x_i 是该连接的输入分量,η>0 为学习速率,控制每次修正的幅度。含义直观:误差大、输入强,这条连接就改得多;输入为零则该连接不动。它是感知器学习算法与 BP 的共同祖先,区别只在误差如何分配到隐层。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 神经网络与深度学习 · 查看原书依据
对于此问题,Bernard Widrow与Marcian Hoff提出了 Widrow-Hoff学习规则: Δω k i(t)=ηe k(t)x i(t) ωki(t+1)=ωki(t)+Δωki(t)
参考来源
- 位置:《大数据挖掘与统计机器学习》第6章 神经网络与深度学习(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter8_0001.xhtml,6.1.3 人工神经网络的学习)
- 结论依据:原文先定义误差信号与能量函数,再给出 Widrow-Hoff 规则的修正量与权值更新式。
- 原始内容:对于此问题,Bernard Widrow与Marcian Hoff提出了 Widrow-Hoff学习规则: Δω k i(t)=ηe k(t)x i(t) ωki(t+1)=ωki(t)+Δωki(t)