知识卡片

普通读书笔记卡 · 2700.e.1.a.1.b · 生成模型:未记录

动态规划复用子问题价值

理解等级:中级

后继状态的价值可以被多种到达它的动作复用。贝尔曼关系用下一步的值回推当前值。遇到循环转移时常用迭代逼近固定点,无需逐条枚举无限可能的完整路径。

关联:[[贝尔曼递推拆分一步]]。下游状态的值可作为其他子问题的已存估计。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《强化学习入门:从原理到实践》第3章《第3章 动态规划寻找最优策略》,来源项目 book-source,`extracted/强化学习入门:从原理到实践/_epub-src/OEBPS/Text/chapter16.xhtml`,body 子元素 3 - 结论依据:原文给出将 MDP 递归分解并复用子问题结果的条件。 - 原始内容:贝尔曼方程把问题递归为求解子问题;价值函数相当于存储了一些子问题的解,可以复用