知识卡片

普通读书笔记卡 · 9777.f · 生成模型:DeepSeek-V4.1-Flash

动量平滑梯度方向

理解等级:中级

普通梯度下降每一步只看当前梯度,方向抖动大。动量优化器额外维护一个与参数同形状的 update,按 u = mo*u + (1-mo)*g 做指数平滑(mo 常取 0.9),再用 param -= lr*u 更新。效果是把最近若干步的梯度加权平均:方向一致的成分被累积,来回摆动的成分相互抵消,于是在狭长山谷形的损失面上能更快穿过,也更不容易被单步噪声带偏。它是 Optimizer 抽象的直接收益——只需实现新的 step,训练循环一个字都不用改,书中就是靠它把 Fizz Buzz 与 MNIST 的收敛速度提上去的。边界:动量带来惯性,学习率或 mo 过大时会冲过极小值来回震荡,且它只平滑方向,梯度为零的地方照样走不动。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第19章 深度学习 · 查看原书依据

      为了演示这种抽象的价值,让我们实现另一个使用动量(momentum)的优化器。其核心想法是,我们不想对每个新产生的梯度都过度计算,因此我们会保持所见梯度的计算均值,用每个新梯度对其进行更新,并朝均值方向迈进

    参考来源

    - 位置:《数据科学入门(第2版)》第19章 深度学习(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0023.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「为了演示这种抽象的价值,让我们实现另一个使用动量(momentum)的优化器……」 - 原始内容:为了演示这种抽象的价值,让我们实现另一个使用动量(momentum)的优化器。其核心想法是,我们不想对每个新产生的梯度都过度计算,因此我们会保持所见梯度的计算均值,用每个新梯度对其进行更新,并朝均值方向迈进