知识卡片
采样和自举是两条轴
动态规划通过环境模型把所有后继的价值平均,蒙特卡罗直接采完整回合的回报,时序差分从环境采一步并用下一状态的价值补足。前两种选择可以拆分成两项:用样本还是显式期望,以及用真实后续回报还是估计值。回报有界且折扣小于 1 时,完整回报有有限方差。一步目标常减小采样方差,但其使用的后继估计有误时会引入偏差。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第5章 时序差分
原书出处 · 1 处
- 时序差分 5.2 三种方法的性质对比 · 查看原书依据
时序差分(TD)和动态规划(DP)则利用一步预测方法计算当前状态值函数,其共同点是利用了自举,使用后继值函数逼近当前值函数。不同的是,动态规划方法无须采样,直接根据完整模型,通过当前状态S所有可能的转移状态S'、转移概率、立即回报来计算当前状态S的值函数,如图5-2所示。而时序差分(TD)方法是无模型方法,无法获得当前状态的所有后继状态及回报等,仅能通过采样学习轨迹片段,用下一状态的预估状态价值更新当前状态预估价值,如图5-3所示。
参考来源
- 位置:《强化学习》第05章《时序差分》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-014.xhtml#isbn9787302538295_5_1_2`)
- 结论依据:原文用三种更新式区分是否采用采样和是否自举。方差边界按有界折扣回报解释,避免把原文的无限方差说法推广到所有任务。
- 原始内容:时序差分(TD)和动态规划(DP)则利用一步预测方法计算当前状态值函数,其共同点是利用了自举,使用后继值函数逼近当前值函数。不同的是,动态规划方法无须采样,直接根据完整模型,通过当前状态S所有可能的转移状态S'、转移概率、立即回报来计算当前状态S的值函数,如图5-2所示。而时序差分(TD)方法是无模型方法,无法获得当前状态的所有后继状态及回报等,仅能通过采样学习轨迹片段,用下一状态的预估状态价值更新当前状态预估价值,如图5-3所示。