← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9843.h · 生成模型:Hunyuan

动量因子:加权前后梯度抑制震荡

理解等级:中级

早期的 BP 算法修正权值时只看当前迭代 t 的梯度,完全不考虑 t−1 的方向。这种做法容易让网络在误差曲面上来回震荡,收敛缓慢且难以调优。动量因子的做法是给前后两个时刻的梯度分配权重:新权值增量由 (1−mc)·η·当前梯度 加上 mc·上一时刻梯度 组成,mc 即动量因子。这样,若连续几次梯度方向一致,更新会沿同一方向累积加速;若方向反复,动量会平滑掉来回摆动,使更新更稳定。动量项已成为 BP 算法的标准配置。要点:它解决的是收敛过程震荡这一优化问题,而非改变误差目标;调大动量可能加速,但也可能越过最优,需在速度与稳定之间权衡。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 神经网络初步 · 查看原书依据

      最早的BP算法在修正权值时,只按当前迭代次数t的梯度调整,而不考虑t-1的梯度方向。这种方式经常使网络发生震荡,收敛缓慢,难以调优。经过大量的实验,人们引入动量因子,该因子分配了t时刻和t-1时刻的梯度值,用以修正算法。

    参考来源

    - 位置:《机器学习算法原理与编程实践》第6章 神经网络初步(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00022.html) - 结论依据:原文指出早期 BP 只看当前梯度导致震荡、难以调优,引入动量因子分配 t 与 t−1 时刻的梯度值,并给出带动量项的权值修正式。 - 原始内容:最早的BP算法在修正权值时,只按当前迭代次数t的梯度调整,而不考虑t-1的梯度方向。这种方式经常使网络发生震荡,收敛缓慢,难以调优。经过大量的实验,人们引入动量因子,该因子分配了t时刻和t-1时刻的梯度值,用以修正算法。