知识卡片
动态规划复用价值子问题
当下一状态的最优解可以用于当前决策,而且同一状态的价值会被反复引用时,可以把价值存下来继续使用。MDP 的贝尔曼关系提供前一种结构,许多候选状态与动作会转移到同一个后继状态,提供后一种结构。表格动态规划用已经知道的转移概率和奖励计算每步期望,因此主要成本是遍历状态、动作及可能的后继。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第3章 动态规划
原书出处 · 1 处
- 动态规划 3.1 动态规划简介 · 查看原书依据
马尔可夫决策过程(MDP)具有上述两个特性。贝尔曼方程把问题递归为求解子问题,价值函数相当于存储了一些子问题的解,可以复用。因此可以使用动态规划来求解马尔可夫决策过程(MDP)。
参考来源
- 位置:《强化学习》第03章《动态规划》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-012.xhtml#isbn9787302538295_3_1_1`)
- 结论依据:原文指出贝尔曼方程把复杂问题分解,值函数保存可复用的解,并给出模型已知这一条件。
- 原始内容:马尔可夫决策过程(MDP)具有上述两个特性。贝尔曼方程把问题递归为求解子问题,价值函数相当于存储了一些子问题的解,可以复用。因此可以使用动态规划来求解马尔可夫决策过程(MDP)。