知识卡片
批量TD与经验转移一致
固定表格数据时,反复平均一步 TD 误差直至稳定,得到的方程与用样本频次估计转移概率、用样本均值估计奖励后的贝尔曼方程一致。普通逐步 TD 可以只存价值,无需显式保存或拟合环境模型。若观测混合了实际不同的状态,自举沿着观测转移学习的量可能不同于直接平均经历所得的回报。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第5章 时序差分
原书出处 · 1 处
- 时序差分 5.2 三种方法的性质对比 · 查看原书依据
最后计算该马尔可夫决策模型的状态值函数。
参考来源
- 位置:《强化学习》第05章《时序差分》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-014.xhtml#isbn9787302538295_5_1_2`)
- 结论依据:原文将基于轨迹的转移频次和即时回报估计,与最小化采样累计回报误差作比较。
- 原始内容:最后计算该马尔可夫决策模型的状态值函数。