← 返回刚才阅读的位置

知识卡片

结构图卡 · 9870.e · 生成模型:Hunyuan

迭代算法流程

理解等级:中级

这张流程图对照两种基于模型的动态规划迭代方式。上半支是策略迭代:初始化策略和值函数,先做策略评估,多次扫描状态空间直到值函数收敛,再做策略改善对每个状态取贪婪动作;若策略发生变化就回到评估,否则输出最优策略。下半支是值迭代:只初始化值函数,把评估与改善合并为一步,扫描所有状态和所有动作取最大值更新值函数,直到值函数收敛后提取贪婪策略。两者的根本差别在于循环边界的位置:策略迭代把循环套在完整的评估过程之外,值迭代把循环套在单次合并扫描之外。二者都以已知模型和贝尔曼方程为前提,分别对应[[策略迭代算法]]与[[值迭代算法]],并依赖[[策略评估与自举]]和[[策略改善与贪婪策略]]这两个基本步骤。

结构图:

flowchart TD
    A[开始 初始化策略与值函数] --> B[策略评估 多次扫描直至值函数收敛]
    B --> C[策略改善 每个状态取贪婪动作]
    C --> D{策略是否改变}
    D -- 是 --> B
    D -- 否 --> E[输出最优策略]
    F[开始 初始化值函数] --> G[单步评估加改善 扫描状态与动作取最大值更新]
    G --> H{值函数是否收敛}
    H -- 否 --> G
    H -- 是 --> I[提取贪婪策略]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第3章 基于模型的动态规划方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00011.html) - 结论依据:原文用图3.10说明策略迭代由策略评估和策略改善合起来组成,并指出值迭代在策略评估步只迭代一次、每次需对状态空间和动作空间双重扫描。 - 原始内容:至此,我们已经给出了策略评估算法和策略改善算法。万事已具备,将策略评估算法和策略改善算法合起来便组成了策略迭代算法,如图3.10所示。