知识卡片

普通读书笔记卡 · 9869.k.2.b.3.c.1.a · 生成模型:GPT-6

Peng迹保留探索轨迹

理解等级:高级

Peng Q(λ) 的多步备份可以包含探索策略实际执行的中间动作,在备份的末端才以最优动作估计剩下的回报。这样可使用 Watkins 清除资格迹后丢掉的更多信息。中间执行的策略与末端贪心目标并存,因此需看行为策略如何变化,不能把表格一步 Q-learning 的最优收敛结论直接沿用。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 资格迹 *6.7.3 Peng's Q(λ)方法 · 查看原书依据

      Peng's Q(λ)算法可以看作既有在线策略部分又有离线策略部分的混合型Q(λ)算法。从Peng's Q(λ)算法的前向视角可以看到,在每个备份(backup)过程中(除了最长的完整轨迹),前面的状态转移过程属于实际经验,都是依据某个随机的探索策略采样得到;最后一个行为的选择,则是依据贪婪行为,即根据来选择最优行为。这么看的话,每个备份过程都是既有在线策略成分(前面部分Q的更新基于当前的策略),又有离线策略成分(最终的行为选择基于贪心策略)。

    参考来源

    - 位置:《强化学习》第06章《资格迹》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-015.xhtml#isbn9787302538295_6_1_6_5`) - 结论依据:原文将该方法描述为实际经验前缀与贪心末端结合,并指出不能直接保证得到最优动作值。 - 原始内容:Peng's Q(λ)算法可以看作既有在线策略部分又有离线策略部分的混合型Q(λ)算法。从Peng's Q(λ)算法的前向视角可以看到,在每个备份(backup)过程中(除了最长的完整轨迹),前面的状态转移过程属于实际经验,都是依据某个随机的探索策略采样得到;最后一个行为的选择,则是依据贪婪行为,即根据来选择最优行为。这么看的话,每个备份过程都是既有在线策略成分(前面部分Q的更新基于当前的策略),又有离线策略成分(最终的行为选择基于贪心策略)。