← 返回刚才阅读的位置

知识卡片

结构图卡 · 9869.c · 生成模型:Hunyuan

MDP要素关系

理解等级:中级

马尔科夫决策过程(MDP)在马尔科夫过程基础上补齐决策要素,由五元组 (S,A,P,R,γ) 描述:S 为有限状态集,A 为有限动作集,P 为状态转移概率(注意这里 P 包含动作,即 P(s’|s,a) 由状态和所采取的动作共同决定),R 为回报函数(立即奖励),γ∈[0,1] 为折扣因子,用来把未来回报折算成累积回报。与马尔科夫过程最大的区别就是引入动作和奖励,使其能描述通过动作影响环境并获得反馈的智能体任务,学习目标是找到使累积回报最大的策略。图中学生有 5 个状态 S={s1..s5}、动作 A={玩,退出,学习,发表,睡觉},立即回报用 R 标记。γ 越小越重视眼前回报,γ 越接近 1 越看重长远。

结构图:

flowchart TD
    A[智能体] -->|动作 a| E[环境]
    E -->|下一状态 s' 和回报 r| A
    E -->|状态 s| S[状态集 S]
    A -->|动作 a| AC[动作集 A]
    S --> T[状态转移概率 P]
    AC --> T
    T --> R[回报函数 R]
    R --> G[累积回报 折扣因子γ]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第2章 马尔科夫决策过程(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00010.html) - 结论依据:原文列出五元组及各符号含义,强调 MDP 的状态转移概率包含动作,并给出学生 5 状态示例。 - 原始内容:马尔科夫决策过程由元组(S,A,P,R,γ)描述,其中: S 为有限的状态集 A 为有限的动作集 P 为状态转移概率 R 为回报函数 γ 为折扣因子,用来计算累积回报。