知识卡片
值迭代算法
值迭代质疑了策略迭代的一个前提:改善之前真的要等到值函数完全收敛吗?原文用网格世界的实验回答——策略评估迭代10次与迭代无穷次得到的贪婪策略是一样的,因此不必等完全收敛。若每次评估只做一次扫描就立刻改善,就得到值函数迭代算法。它等价于直接迭代贝尔曼最优性方程v(s)=max_a[r(s,a)+γΣP(s′|s,a)v(s′)]:对状态空间扫描一遍,每个状态再对动作空间扫描一遍,取使动作值最大的动作并就地更新值,反复直到值收敛,最后提取贪婪策略。与[[策略迭代算法]]相比,它每轮只有一次评估扫描、实现更简单、单轮更便宜,但往往需要更多轮次才收敛;二者在流程上的差别见[[迭代算法流程]]。它是动态规划最一般的计算框架,[[策略评估与自举]]和[[策略改善与贪婪策略]]在这里被压缩成同一个更新式。边界是:它同样要求模型P与r已知,模型未知时不能直接套用。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 基于模型的动态规划方法 · 查看原书依据
如图3.12所示,策略评估迭代10次和迭代无穷次所得到的贪婪策略是一样的。因此,对于上面的问题,我们的回答是不一定等到策略评估算法完全收敛。如果我们在评估一次之后就进行策略改善,则称为值函数迭代算法。
参考来源
- 位置:《深入浅出强化学习:原理入门》第3章 基于模型的动态规划方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00011.html)
- 结论依据:原文用图3.12说明迭代10次与无穷次得到相同贪婪策略,据此指出不一定等到策略评估完全收敛,并把评估一次就改善的做法称为值函数迭代算法。
- 原始内容:如图3.12所示,策略评估迭代10次和迭代无穷次所得到的贪婪策略是一样的。因此,对于上面的问题,我们的回答是不一定等到策略评估算法完全收敛。如果我们在评估一次之后就进行策略改善,则称为值函数迭代算法。