知识卡片
动量项抑制权值震荡
标准 BP 每次只按当前样本的负梯度方向改权值,不看以前的调整方向,遇到误差曲面狭长或相邻样本梯度相反时,权值会来回摆动,收敛缓慢。做法是在修正量中加动量项:Δω_ji(t)=ηδ_j o_i+αΔω_ji(t-1),其中 α 为动力常数(常取 0.1~1),Δω_ji(t-1) 是上一步的修正量。含义是把历史调整当作惯性:连续同向时步子越走越大,方向突变时旧动量起缓冲作用,使权值轨迹更平滑,从而减小震荡、加快收敛。代价是多了一个超参数,α 过大时惯性过强,可能冲过最优点。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 神经网络与深度学习 · 查看原书依据
为了减少震荡,提高网络收敛速度,可以在式(6.11)的基础上加入一个动量项: Δωji(t)=ηδjoi+αΔωji(t-1) 式中,α称为动力常数,一般有0.1<α<1; αΔωji(t-1)为动量项,反映了以前积累的调整经验。
参考来源
- 位置:《大数据挖掘与统计机器学习》第6章 神经网络与深度学习(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter8_0001.xhtml,6.1.4 感知器)
- 结论依据:原文在标准 BP 修正量后加入 αΔω(t-1) 动量项,说明其反映累积经验并使权值变化更平滑。
- 原始内容:为了减少震荡,提高网络收敛速度,可以在式(6.11)的基础上加入一个动量项: Δωji(t)=ηδjoi+αΔωji(t-1) 式中,α称为动力常数,一般有0.1<α<1; αΔωji(t-1)为动量项,反映了以前积累的调整经验。