知识卡片
MDP把决策环境写成状态模型
马尔可夫决策过程用状态、动作、转移概率、奖励和折扣因子描述连续决策。其状态应包含预测下一步所需的信息,使给定当前状态和动作后无须额外依赖更早历史。模型只是对环境的抽象,状态缺信息时马尔可夫假设可能不成立,模型内最优也未必适合真实环境。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 2 1 . 1 . 2 基 于 马 尔 可 夫 决 策 过 程 的 强 化 学 习 · 查看原书依据
与21.1.1节中给出的强化学习构成要素类似,马尔科夫决策过程也可以用一个元组(S,A,P,R,γ)来表示。S是决策过程中的状态集合;A是决策过程中的动作集合;P是状态之间的转移概率;R是采取某一动作到达下一状态后的回报(也可看作奖励值);γ是折扣因子。
参考来源
- 位置:《智能算法导论》第 202 项《21.1.2 基于马尔可夫决策过程的强化学习》(源文件:`_epub-src/EPUB/xhtml/chapter21_0003.xhtml`)
- 结论依据:元组及式21-2给出转移的当前状态动作条件;卡片补明状态充分性的建模含义。
- 原始内容:马尔可夫决策过程也可以用一个元组(S,A,P,R,γ)来表示。S是……状态集合;A是……动作集合;P是状态之间的转移概率;R是……回报……γ是折扣因子。