知识卡片
动量因子:加权前后梯度抑制震荡
早期的 BP 算法修正权值时只看当前迭代 t 的梯度,完全不考虑 t−1 的方向。这种做法容易让网络在误差曲面上来回震荡,收敛缓慢且难以调优。动量因子的做法是给前后两个时刻的梯度分配权重:新权值增量由 (1−mc)·η·当前梯度 加上 mc·上一时刻梯度 组成,mc 即动量因子。这样,若连续几次梯度方向一致,更新会沿同一方向累积加速;若方向反复,动量会平滑掉来回摆动,使更新更稳定。动量项已成为 BP 算法的标准配置。要点:它解决的是收敛过程震荡这一优化问题,而非改变误差目标;调大动量可能加速,但也可能越过最优,需在速度与稳定之间权衡。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 神经网络初步 · 查看原书依据
最早的BP算法在修正权值时,只按当前迭代次数t的梯度调整,而不考虑t-1的梯度方向。这种方式经常使网络发生震荡,收敛缓慢,难以调优。经过大量的实验,人们引入动量因子,该因子分配了t时刻和t-1时刻的梯度值,用以修正算法。
参考来源
- 位置:《机器学习算法原理与编程实践》第6章 神经网络初步(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00022.html)
- 结论依据:原文指出早期 BP 只看当前梯度导致震荡、难以调优,引入动量因子分配 t 与 t−1 时刻的梯度值,并给出带动量项的权值修正式。
- 原始内容:最早的BP算法在修正权值时,只按当前迭代次数t的梯度调整,而不考虑t-1的梯度方向。这种方式经常使网络发生震荡,收敛缓慢,难以调优。经过大量的实验,人们引入动量因子,该因子分配了t时刻和t-1时刻的梯度值,用以修正算法。