知识卡片
样本均值可递推更新
对某个动作已有 n−1 次回报,收到第 n 次回报后,把新回报减旧均值得到残差,再以 1/n 的比例加到旧均值。这样不用保留回报历史。环境回报随时间变化时,固定学习率可以让新回报影响更大,但估计已变成指数加权而非样本均值。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第16章 强化学习 · 查看原书依据
式(16.2)
参考来源
- 位置:《机器学习公式详解》第16章 强化学习(book-source:`extracted/机器学习公式详解/_epub-src/text/part0022.html`,式(16.2))
- 结论依据:式(16.2)与(16.3)把此前回报和改写为旧均值乘次数。
- 原始内容:式(16.2)
- 原式图像替代文本:`Q_{n}(k)=\frac{1}{n}\left((n-1)\times Q_{n-1}(k)+v_{n}\right)`