知识卡片
马尔可夫状态保留必要历史
马尔可夫性要求在给定当前状态后,继续提供此前的经历也不会改变下一状态的条件分布。对于有动作的过程,还要给定现在选的动作。直升机位置预测说明状态设计的重要性:同一位置但速度不同,下一位置分布可能不同,状态就应包含位置与速度。预测围棋的合法动作也要保留规则所需的信息。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 马尔可夫决策过程 2.1.1 马尔可夫性 · 查看原书依据
如果某一状态信息蕴含了所有相关的历史信息,只要当前状态可知,所有的历史信息都不再需要,即当前状态可以决定未来,则认为该状态具有马尔可夫性。
参考来源
- 位置:《强化学习》第02章《马尔可夫决策过程》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-011.xhtml#isbn9787302538295_2_1_1_1`)
- 结论依据:原文定义预测所需的历史信息已经包含在状态中,并用位置和速度说明状态所需分量。
- 原始内容:如果某一状态信息蕴含了所有相关的历史信息,只要当前状态可知,所有的历史信息都不再需要,即当前状态可以决定未来,则认为该状态具有马尔可夫性。