知识卡片

普通读书笔记卡 · 9869.b · 生成模型:Hunyuan

马尔科夫过程与状态转移

理解等级:中级

马尔科夫过程用二元组 (S,P) 描述:S 是有限状态集合,P 是状态转移概率(通常用矩阵表示,P_ij 表示从状态 i 跳到 j 的概率)。它刻画状态如何自发演化,不含动作也不含奖励。从某一状态出发按转移概率采样会得到一条状态序列,称为马尔科夫链;给定 P 时同一出发点可产生多条不同的链。例如学生的 7 个状态(娱乐、课程1/2/3、考过、睡觉、论文)按转移概率可走出课程1→课程2→课程3→考过→睡觉,或课程1→课程2→睡觉等轨迹。小演算:若 P(课1→课2)=0.5、P(课2→睡觉)=0.6,则两步连续发生的概率为 0.5×0.6=0.3。局限在于游戏或机器人需要靠动作与环境交互并获得奖励,而马尔科夫过程没有动作和奖励,因此不足以描述它们。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 马尔科夫决策过程 · 查看原书依据

      马尔科夫过程是一个二元组(S,P),且满足:S是有限状态集合,P是状态转移概率。状态转移概率矩阵为: 。下面我们以一个例子来进行阐述。 如图2.2所示为一个学生的7种状态{娱乐,课程1,课程2,课程3,考过,睡觉,论文},每种状态之间的转换概率如图所示。

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第2章 马尔科夫决策过程(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00010.html) - 结论依据:原文定义马尔科夫过程为 (S,P),给出学生 7 状态转移的例子与两条马尔科夫链,随后指出它缺少动作和奖励。 - 原始内容:马尔科夫过程是一个二元组(S,P),且满足:S是有限状态集合,P是状态转移概率。状态转移概率矩阵为: 。下面我们以一个例子来进行阐述。 如图2.2所示为一个学生的7种状态{娱乐,课程1,课程2,课程3,考过,睡觉,论文},每种状态之间的转换概率如图所示。