知识卡片
增量平均只保存估计和次数
已经平均过 k 个回报时,新的估计等于旧估计加上 (新回报-旧估计)/(k+1)。这与保存全部回报后重算平均等价,只需保存计数和当前平均。常量步长有不同效果:较新的样本会逐步覆盖较早样本的影响,适合跟踪变动的回报,但即使样本一直增加,波动也可能持续。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第4章 蒙特卡罗
原书出处 · 1 处
- 蒙特卡罗 2.增量式更新 · 查看原书依据
通常,蒙特卡罗法在求平均值的时候是采用批处理式进行的,即在一个完整的采样轨迹完成后,对全部的累积回报进行更新。实际上,这个更新过程可以增量式进行,使得在计算平均值时不需要存储所有既往累积回报,而是每得到一个累积回报之后就计算其平均值。
参考来源
- 位置:《强化学习》第04章《蒙特卡罗》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-013.xhtml#isbn9787302538295_4_1_2_1_2`)
- 结论依据:原文从算术平均推导增量式,随后把 1/(k+1) 换为常量步长。
- 原始内容:通常,蒙特卡罗法在求平均值的时候是采用批处理式进行的,即在一个完整的采样轨迹完成后,对全部的累积回报进行更新。实际上,这个更新过程可以增量式进行,使得在计算平均值时不需要存储所有既往累积回报,而是每得到一个累积回报之后就计算其平均值。