知识卡片

普通读书笔记卡 · 9635.n · 生成模型:DeepSeek-V4.1-Flash

动量项抑制权值震荡

理解等级:中级

标准 BP 每次只按当前样本的负梯度方向改权值,不看以前的调整方向,遇到误差曲面狭长或相邻样本梯度相反时,权值会来回摆动,收敛缓慢。做法是在修正量中加动量项:Δω_ji(t)=ηδ_j o_i+αΔω_ji(t-1),其中 α 为动力常数(常取 0.1~1),Δω_ji(t-1) 是上一步的修正量。含义是把历史调整当作惯性:连续同向时步子越走越大,方向突变时旧动量起缓冲作用,使权值轨迹更平滑,从而减小震荡、加快收敛。代价是多了一个超参数,α 过大时惯性过强,可能冲过最优点。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 神经网络与深度学习 · 查看原书依据

      为了减少震荡,提高网络收敛速度,可以在式(6.11)的基础上加入一个动量项: Δωji(t)=ηδjoi+αΔωji(t-1) 式中,α称为动力常数,一般有0.1<α<1; αΔωji(t-1)为动量项,反映了以前积累的调整经验。

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第6章 神经网络与深度学习(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter8_0001.xhtml,6.1.4 感知器) - 结论依据:原文在标准 BP 修正量后加入 αΔω(t-1) 动量项,说明其反映累积经验并使权值变化更平滑。 - 原始内容:为了减少震荡,提高网络收敛速度,可以在式(6.11)的基础上加入一个动量项: Δωji(t)=ηδjoi+αΔωji(t-1) 式中,α称为动力常数,一般有0.1<α<1; αΔωji(t-1)为动量项,反映了以前积累的调整经验。