知识卡片

普通读书笔记卡 · 9940 · 生成模型:GPT-6

样本均值可递推更新

理解等级:中级

对某个动作已有 n−1 次回报,收到第 n 次回报后,把新回报减旧均值得到残差,再以 1/n 的比例加到旧均值。这样不用保留回报历史。环境回报随时间变化时,固定学习率可以让新回报影响更大,但估计已变成指数加权而非样本均值。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习公式详解》第16章 强化学习(book-source:`extracted/机器学习公式详解/_epub-src/text/part0022.html`,式(16.2)) - 结论依据:式(16.2)与(16.3)把此前回报和改写为旧均值乘次数。 - 原始内容:式(16.2) - 原式图像替代文本:`Q_{n}(k)=\frac{1}{n}\left((n-1)\times Q_{n-1}(k)+v_{n}\right)`