知识卡片

普通读书笔记卡 · 9836.i · 生成模型:DeepSeek-V4.1-Flash

指数平均让近期权重更大

理解等级:中级

普通平均给 10 天的温度同样的权重 1/10。指数加权平均改成递推:只需保留一个数,就能近似”最近一段时间”的均值。

vt = β·v{t−1} + (1−β)·θ_t

展开后:

v_t = (1−β)(θt + βθ{t−1} + β²θ_{t−2} + … + β^{t−1}θ_1)

权重 (1−β)β^k 按指数衰减,越近的数据权重越大。0<β 保证权重和为 1(近似,忽略最远端)。

小数字演算:θ = 10, 20, 30,β = 0.9,初值 v₀ = 0:

步 计算 v
1 0.9×0 + 0.1×10 1.0
2 0.9×1 + 0.1×20 2.9
3 0.9×2.9 + 0.1×30 5.61

真实值是 30,v 只有 5.61——明显滞后。这是指数平均的固有代价:β 越大曲线越平滑,但滞后越严重;β = 0.9 时约 10 步前的数据权重还有 0.9¹⁰ ≈ 0.35,相当于”记忆”约 10 步。

它为什么重要:这是 Momentum 的梯度平滑、RMSProp/Adam 的二阶矩估计共用的零件。理解它,后面几个优化器就只是”对谁做指数平均”的差别。初值取 0 带来的前几步偏小,也解释了 Adam 为什么要做偏差校正(见 [[Adam融合动量与自适应]])。

边界:它给的是加权平均而非无偏估计;序列前段估计偏差大,序列剧烈变化时滞后会掩盖拐点。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第15章《第15章 深度神经网络模型》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00018.html) - 结论依据:原文以 10 天温度为例展开递推式,说明指数平均是按指数递减加权的移动平均、越近期权重越大。 - 原始内容:因为0<β<1,所以上式的本质就是以指数式递减加权的移动平均,越近期的数据其权重越大。很明显,指数平均将参与平均的项进行了差别对待,这在对与时间相关的项取平均上应该是更科学的