知识卡片
动态规划复用子问题价值
后继状态的价值可以被多种到达它的动作复用。贝尔曼关系用下一步的值回推当前值。遇到循环转移时常用迭代逼近固定点,无需逐条枚举无限可能的完整路径。
关联:[[贝尔曼递推拆分一步]]。下游状态的值可作为其他子问题的已存估计。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 动态规划寻找最优策略 · 查看原书依据
贝尔曼方程把问题递归为求解子问题;价值函数相当于存储了一些子问题的解,可以复用
参考来源
- 位置:《强化学习入门:从原理到实践》第3章《第3章 动态规划寻找最优策略》,来源项目 book-source,`extracted/强化学习入门:从原理到实践/_epub-src/OEBPS/Text/chapter16.xhtml`,body 子元素 3
- 结论依据:原文给出将 MDP 递归分解并复用子问题结果的条件。
- 原始内容:贝尔曼方程把问题递归为求解子问题;价值函数相当于存储了一些子问题的解,可以复用