知识卡片
多步目标移动自举位置
n 步目标先把实际观察到的 n 个奖励按折扣相加,再用 γⁿV(Sₜ₊ₙ) 估计剩下的部分。n 为 1 时就是一步 TD。如果在第 n 步之前已经到终点,就只加到终点,后续价值为零,目标变成蒙特卡罗回报。增大 n 引入更多实际奖励,也使更新要多等几步。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第6章 资格迹
原书出处 · 1 处
- 资格迹 6.2 多步TD评估 · 查看原书依据
可见,当n步中的n大于等于轨迹的长度时,多步时序差分方法就变成了蒙特卡罗方法。所以,蒙特卡罗实际上是多步时序差分方法的一个特例。图6-1很清楚地表明了1步、2步、n步以及蒙特卡罗方法在预测估计值函数时存在不同,图中空白圆形符号代表状态,黑色圆形符号代表动作,方块代表终止状态。
参考来源
- 位置:《强化学习》第06章《资格迹》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-015.xhtml#isbn9787302538295_6_1_2`)
- 结论依据:原文逐项给出一步、两步和 n 步回报,并用末端状态说明它们与蒙特卡罗的关系。
- 原始内容:可见,当n步中的n大于等于轨迹的长度时,多步时序差分方法就变成了蒙特卡罗方法。所以,蒙特卡罗实际上是多步时序差分方法的一个特例。图6-1很清楚地表明了1步、2步、n步以及蒙特卡罗方法在预测估计值函数时存在不同,图中空白圆形符号代表状态,黑色圆形符号代表动作,方块代表终止状态。