← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9870.c · 生成模型:Hunyuan

策略迭代算法

理解等级:中级

策略迭代把评估与改善拼成一个循环,包含两个步骤。第一步策略评估:固定当前策略,用数值迭代反复扫描各状态,算出该策略下收敛的值函数;第二步策略改善:用这个值函数按贪婪原则导出新策略。然后回到第一步,如此反复,策略一步步变好并最终收敛到最优策略,值函数也随之收敛到最优值函数。它依赖[[策略评估与自举]]提供值,又依赖[[策略改善与贪婪策略]]产生新策略,流程见[[迭代算法流程]]。它的鲜明特点与代价是:每次改善之前必须等评估充分收敛,而值函数收敛常常需要很多次扫描迭代,所以单轮计算成本较高;好处是外层次数通常不多、策略改进方向稳健。与[[值迭代算法]]相比,策略迭代把“彻底算清一个策略”放在前面,而值迭代把评估压缩为一步。可迁移的启发是:当一个改进动作依赖一份精确的评估时,交替执行“把评估做透”和“据评估做决策”是一种稳妥的优化范式,例如动态规划中的策略空间搜索。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 基于模型的动态规划方法 · 查看原书依据

      策略迭代算法包括策略评估和策略改善两个步骤。在策略评估中,给定策略,通过数值迭代算法不断计算该策略下每个状态的值函数,利用该值函数和贪婪策略得到新的策略。如此循环下去,最终得到最优策略。

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第3章 基于模型的动态规划方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00011.html) - 结论依据:原文明确写出策略迭代包括策略评估和策略改善两个步骤,并描述给定策略迭代计算值函数、再用值函数和贪婪策略得到新策略、如此循环收敛到最优策略的过程。 - 原始内容:策略迭代算法包括策略评估和策略改善两个步骤。在策略评估中,给定策略,通过数值迭代算法不断计算该策略下每个状态的值函数,利用该值函数和贪婪策略得到新的策略。如此循环下去,最终得到最优策略。