知识卡片

普通读书笔记卡 · 9869.k.4.a · 生成模型:GPT-6

五元组描述序贯决策

理解等级:中级

马尔可夫决策过程(MDP)用状态集合 S、动作集合 A、转移概率 P、期望即时奖励 R 与折扣因子 γ 描述。动作由智能体选择,转移则由环境给定的概率决定。书中求职者可选择旅游,选择之后返回哪种学习状态由转移概率决定。固定一个策略后,按它给出的动作概率对每条动作的后果加权,得到相应马尔可夫链以及每个状态的一步期望奖励。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 马尔可夫决策过程 2.1.3 马尔可夫决策过程 · 查看原书依据

      马尔可夫决策过程(Markov Decision Process,MDP)是针对具有马尔可夫性的随机过程序贯地作出决策。即根据每个时间步观察到的状态s,从可用的行动集合中选用一个行动a,环境在a的作用下,转换至新状态s'。决策者根据新观察到的状态s',再做出新的决策,采取行为a',依此反复地进行。环境的状态具有马尔可夫性,即下一时间步状态s'仅与当前状态s和动作a有关,而此刻之前的状态或动作不对其有任何影响。这就是马尔可夫决策过程的描述,大多数的强化学习任务都可以被描述为马尔可夫决策过程,因此马尔可夫决策过程在强化学习理论中相当重要。

    参考来源

    - 位置:《强化学习》第02章《马尔可夫决策过程》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-011.xhtml#isbn9787302538295_2_1_1_3`) - 结论依据:原文从求职马尔可夫链加入可选动作和奖励,并按策略的动作概率计算转移概率及即时回报。 - 原始内容:马尔可夫决策过程(Markov Decision Process,MDP)是针对具有马尔可夫性的随机过程序贯地作出决策。即根据每个时间步观察到的状态s,从可用的行动集合中选用一个行动a,环境在a的作用下,转换至新状态s'。决策者根据新观察到的状态s',再做出新的决策,采取行为a',依此反复地进行。环境的状态具有马尔可夫性,即下一时间步状态s'仅与当前状态s和动作a有关,而此刻之前的状态或动作不对其有任何影响。这就是马尔可夫决策过程的描述,大多数的强化学习任务都可以被描述为马尔可夫决策过程,因此马尔可夫决策过程在强化学习理论中相当重要。