知识卡片
广义策略迭代交替改进
策略迭代反复评估当前策略,再按估计选更好的动作。更换动作会改变后续轨迹,新的策略还需要重新评估。广义策略迭代允许在价值估计尚未收敛时着手改进,并继续协调两者。值迭代是紧凑的做法,把一步评估和动作改进合在同一次最优更新内。有限折扣表格情形有收敛条件,推广到其他近似算法仍需独立检验。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第3章 动态规划
原书出处 · 1 处
- 动态规划 3.4 策略迭代 · 查看原书依据
在策略评估过程中,往往需要等到值函数收敛之后才能进行策略改进,这其实是没有必要的。可以在进行一次策略评估之后就开始策略改进,如此循环往复执行这两个过程,最终会收敛到最优值函数和最优策略,如图3-3所示,这便是广义策略迭代的思想,很多强化学习方法都用到了这种思想。
参考来源
- 位置:《强化学习》第03章《动态规划》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-012.xhtml#isbn9787302538295_3_1_4`)
- 结论依据:原文先给出评估与改进轮换,再通过广义策略迭代解释为何两者可按更细粒度交替。
- 原始内容:在策略评估过程中,往往需要等到值函数收敛之后才能进行策略改进,这其实是没有必要的。可以在进行一次策略评估之后就开始策略改进,如此循环往复执行这两个过程,最终会收敛到最优值函数和最优策略,如图3-3所示,这便是广义策略迭代的思想,很多强化学习方法都用到了这种思想。