知识卡片
贝尔曼期望递推
固定策略 π,将总回报拆为当前奖励和下一时点回报,可以得到 Vπ(s)=E[R+γVπ(S′)|S=s]。这份期望包含两个层次:按策略选动作,再按环境模型转移。若先给定当前动作,得到 Qπ(s,a)=E[R+γVπ(S′)|S=s,A=a]。给定动作后的随机性仍然存在,因此后继状态的价值要按概率平均。把本状态的各个动作价值按策略权重平均,又能还原 Vπ(s)。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 马尔可夫决策过程 2.2.1 贝尔曼期望方程 · 查看原书依据
本节介绍两类贝尔曼方程,分别为贝尔曼期望方程和贝尔曼最优方程。贝尔曼期望方程表达了当前值函数(或行为值函数)和它后继值函数(或行为值函数)的关系,以及值函数和行为值函数之间的关系。贝尔曼最优方程表达了当前最优值函数(或最优行为值函数)和它后继最优值函数(或最优行为值函数)的关系,以及最优值函数和最优行为值函数之间的关系。贝尔曼方程为后续各类以迭代方式求解值函数的方法打开了大门,如果知道下一个状态的值,就能很容易求解当前状态的值。
参考来源
- 位置:《强化学习》第02章《马尔可夫决策过程》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-011.xhtml#isbn9787302538295_2_1_2`)
- 结论依据:原文从折扣总回报中拆出第一步奖励,并给出状态值与行为值之间的四种递推形式。
- 原始内容:本节介绍两类贝尔曼方程,分别为贝尔曼期望方程和贝尔曼最优方程。贝尔曼期望方程表达了当前值函数(或行为值函数)和它后继值函数(或行为值函数)的关系,以及值函数和行为值函数之间的关系。贝尔曼最优方程表达了当前最优值函数(或最优行为值函数)和它后继最优值函数(或最优行为值函数)的关系,以及最优值函数和最优行为值函数之间的关系。贝尔曼方程为后续各类以迭代方式求解值函数的方法打开了大门,如果知道下一个状态的值,就能很容易求解当前状态的值。