← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9869.a · 生成模型:Hunyuan

马尔科夫性

理解等级:中级

马尔科夫性是指系统的下一状态只依赖当前状态,与更早的历史无关,形式化为 P(s_{t+1}|st)=P(s{t+1}|s_1,…,s_t)。核心直觉是当前状态已经压缩了全部历史信息:一旦知道 s_t,之前的 s1…s{t-1} 就可以丢弃,预测未来无需回溯过去。这使状态成为充分统计量,大幅简化建模与计算,否则每一步都要携带完整历史,状态空间会爆炸。满足马尔科夫性的随机变量序列称为马尔科夫随机过程;若序列中每个状态都具备该性质就构成马尔科夫链。其边界在于依赖状态表示足够完备,若当前状态没有包含关键历史信息(如剩余体力、过往奖励),马尔科夫假设就会被破坏,需要把这些信息显式纳入状态。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第2章 马尔科夫决策过程(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00010.html) - 结论依据:原文给出马尔科夫性的定义式,并解释当前状态蕴含所有相关历史、一旦当前状态已知历史即被抛弃。 - 原始内容:所谓马尔科夫性是指系统的下一个状态st+1 仅与当前状态st 有关,而与以前的状态无关。 定义:状态st 是马尔科夫的,当且仅当P[st+1 |st ]=P[st+1 |s1 ,…,st ]。