← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9870.b · 生成模型:Hunyuan

策略改善与贪婪策略

理解等级:中级

算出策略π的值函数不是终点,而是为了得到更好的策略。改善的办法是对当前值函数采取贪婪策略:在每个状态s,比较所有动作的动作值qπ(s,a)=r(s,a)+γΣP(s′|s,a)vπ(s′),选取使它的最大的那个动作作为新策略在该状态的动作,即π′(s)=argmax_a qπ(s,a)。直觉是:值函数度量了“按现策略从这里出发有多好”,那么在该状态挑一个眼前动作值最大的动作,理应让总体回报不降,这就是策略改善定理的朴素版本——逐状态贪婪得到的策略不会比原策略差。举例:某状态两个动作的动作值分别为-1.0和-2.0,贪婪策略必选-1.0对应的动作。它的使用条件是值函数必须足够准确,否则依糟糕的估计做贪婪反而会损害策略,这正是为什么策略迭代要求评估先收敛、而值迭代把它压缩成一步。可迁移的启发是“先评估再贪婪”这一范式:任何能给出状态好坏打分的问题,都可以试着用逐点取最优的方式构造改进。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第3章 基于模型的动态规划方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00011.html) - 结论依据:原文明确说计算值函数的目的是为了利用它找到最优策略,并给出在每个状态采用贪婪策略对当前策略进行改善的做法。 - 原始内容:计算值函数的目的是利用值函数找到最优策略。第二个要解决的问题是:如何利用值函数进行策略改善,从而得到最优策略?