← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9869.k.2.b.3.d · 生成模型:GPT-6

多步目标移动自举位置

理解等级:中级

n 步目标先把实际观察到的 n 个奖励按折扣相加,再用 γⁿV(Sₜ₊ₙ) 估计剩下的部分。n 为 1 时就是一步 TD。如果在第 n 步之前已经到终点,就只加到终点,后续价值为零,目标变成蒙特卡罗回报。增大 n 引入更多实际奖励,也使更新要多等几步。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 资格迹 6.2 多步TD评估 · 查看原书依据

      可见,当n步中的n大于等于轨迹的长度时,多步时序差分方法就变成了蒙特卡罗方法。所以,蒙特卡罗实际上是多步时序差分方法的一个特例。图6-1很清楚地表明了1步、2步、n步以及蒙特卡罗方法在预测估计值函数时存在不同,图中空白圆形符号代表状态,黑色圆形符号代表动作,方块代表终止状态。

    参考来源

    - 位置:《强化学习》第06章《资格迹》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-015.xhtml#isbn9787302538295_6_1_2`) - 结论依据:原文逐项给出一步、两步和 n 步回报,并用末端状态说明它们与蒙特卡罗的关系。 - 原始内容:可见,当n步中的n大于等于轨迹的长度时,多步时序差分方法就变成了蒙特卡罗方法。所以,蒙特卡罗实际上是多步时序差分方法的一个特例。图6-1很清楚地表明了1步、2步、n步以及蒙特卡罗方法在预测估计值函数时存在不同,图中空白圆形符号代表状态,黑色圆形符号代表动作,方块代表终止状态。