知识卡片
指数平均让近期权重更大
普通平均给 10 天的温度同样的权重 1/10。指数加权平均改成递推:只需保留一个数,就能近似”最近一段时间”的均值。
vt = β·v{t−1} + (1−β)·θ_t
展开后:
v_t = (1−β)(θt + βθ{t−1} + β²θ_{t−2} + … + β^{t−1}θ_1)
权重 (1−β)β^k 按指数衰减,越近的数据权重越大。0<β 保证权重和为 1(近似,忽略最远端)。
小数字演算:θ = 10, 20, 30,β = 0.9,初值 v₀ = 0:
| 步 | 计算 | v |
|---|---|---|
| 1 | 0.9×0 + 0.1×10 | 1.0 |
| 2 | 0.9×1 + 0.1×20 | 2.9 |
| 3 | 0.9×2.9 + 0.1×30 | 5.61 |
真实值是 30,v 只有 5.61——明显滞后。这是指数平均的固有代价:β 越大曲线越平滑,但滞后越严重;β = 0.9 时约 10 步前的数据权重还有 0.9¹⁰ ≈ 0.35,相当于”记忆”约 10 步。
它为什么重要:这是 Momentum 的梯度平滑、RMSProp/Adam 的二阶矩估计共用的零件。理解它,后面几个优化器就只是”对谁做指数平均”的差别。初值取 0 带来的前几步偏小,也解释了 Adam 为什么要做偏差校正(见 [[Adam融合动量与自适应]])。
边界:它给的是加权平均而非无偏估计;序列前段估计偏差大,序列剧烈变化时滞后会掩盖拐点。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第15章 深度神经网络模型 15.2.6 几种常用的优化算法 · 查看原书依据
因为0<β<1,所以上式的本质就是以指数式递减加权的移动平均,越近期的数据其权重越大。很明显,指数平均将参与平均的项进行了差别对待,这在对与时间相关的项取平均上应该是更科学的
参考来源
- 位置:《机器学习基础:从入门到求职》第15章《第15章 深度神经网络模型》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00018.html)
- 结论依据:原文以 10 天温度为例展开递推式,说明指数平均是按指数递减加权的移动平均、越近期权重越大。
- 原始内容:因为0<β<1,所以上式的本质就是以指数式递减加权的移动平均,越近期的数据其权重越大。很明显,指数平均将参与平均的项进行了差别对待,这在对与时间相关的项取平均上应该是更科学的