知识卡片

普通读书笔记卡 · 9869.k.4.a.1.b.1 · 生成模型:GPT-6

值迭代用最优备份更新

理解等级:中级

对每个状态,逐个动作计算即时奖励加折扣后的后继价值期望,然后用最大的候选写回该状态。反复执行这一备份,最后从收敛的值按同样的一步前瞻提取贪心策略。与完整评估一套暂定策略再改进相比,值迭代每轮直接考虑各动作。网格寻宝的每个非终止步付出 1,最优价值自然是到目标的负最短步数。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 动态规划 3.5 值迭代 · 查看原书依据

      策略迭代算法在每次进行策略评估时,采用贝尔曼期望方程更新值函数。而值迭代算法借助的是贝尔曼最优方程,直接使用行为回报的最大值更新原来的值,如图3-4所示。

    参考来源

    - 位置:《强化学习》第03章《动态规划》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-012.xhtml#isbn9787302538295_3_1_5`) - 结论依据:原文给出贝尔曼最优迭代及一步前瞻代码,并用同一网格比较两种求解过程。 - 原始内容:策略迭代算法在每次进行策略评估时,采用贝尔曼期望方程更新值函数。而值迭代算法借助的是贝尔曼最优方程,直接使用行为回报的最大值更新原来的值,如图3-4所示。