知识卡片

普通读书笔记卡 · 9869.k.2.b.1 · 生成模型:GPT-6

增量平均只保存估计和次数

理解等级:中级

已经平均过 k 个回报时,新的估计等于旧估计加上 (新回报-旧估计)/(k+1)。这与保存全部回报后重算平均等价,只需保存计数和当前平均。常量步长有不同效果:较新的样本会逐步覆盖较早样本的影响,适合跟踪变动的回报,但即使样本一直增加,波动也可能持续。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 蒙特卡罗 2.增量式更新 · 查看原书依据

      通常,蒙特卡罗法在求平均值的时候是采用批处理式进行的,即在一个完整的采样轨迹完成后,对全部的累积回报进行更新。实际上,这个更新过程可以增量式进行,使得在计算平均值时不需要存储所有既往累积回报,而是每得到一个累积回报之后就计算其平均值。

    参考来源

    - 位置:《强化学习》第04章《蒙特卡罗》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-013.xhtml#isbn9787302538295_4_1_2_1_2`) - 结论依据:原文从算术平均推导增量式,随后把 1/(k+1) 换为常量步长。 - 原始内容:通常,蒙特卡罗法在求平均值的时候是采用批处理式进行的,即在一个完整的采样轨迹完成后,对全部的累积回报进行更新。实际上,这个更新过程可以增量式进行,使得在计算平均值时不需要存储所有既往累积回报,而是每得到一个累积回报之后就计算其平均值。