知识卡片
贝尔曼关系拆分当前与未来
贝尔曼期望关系把价值拆为下一步奖励加上折扣后的后续价值:vπ(s)=E[R{t+1}+γvπ(S{t+1})|S_t=s]。因为折扣回报满足 Gt=R{t+1}+γG_{t+1},对其取期望就得到这一递归式;期望同时覆盖策略选动作和环境转移的随机性。这样长程回报不必展开无穷项,可由“下一状态的价值”递推。
示例:若下一步奖励必为 1、必到达价值为 10 的状态,γ=0.9,则当前价值为 1+0.9×10=10。
求最优价值时在可选动作中取最大:q(s,a)=Rs^a+γΣ{s’}P{ss’}^a·max{a’}q(s’,a’),其中 Rs^a 是在 s 做 a 的期望奖励,P{ss’}^a 是转到 s’ 的概率。最大运算应覆盖该动作的全部即时与未来回报,而不能只最大化即时奖励。回报有限等条件仍须满足。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 2 1 . 1 . 2 基 于 马 尔 可 夫 决 策 过 程 的 强 化 学 习 · 查看原书依据
对比vπ(s)和状态-动作函数qπ(s,a)可以发现如下关系: 其中的关系为贝尔曼方程,可以得到状态-行为函数的贝尔曼方程: 状态值函数vπ(s)可以改写为: 再将qπ(s,a)改写成: 定义最优的状态值函数。
参考来源
- 位置:《智能算法导论》第 202 项《21.1.2 基于马尔可夫决策过程的强化学习》(源文件:`_epub-src/EPUB/xhtml/chapter21_0003.xhtml`)
- 结论依据:式21-6–21-11给出递归期望和最优形式;式21-10最大化范围及最优值下标存在排印疑点,按上下文只保留递归语义,不直接照抄;正文所列 q* 式按式21-11 去掉多余下标 π 后写出,“奖励 1、后续价值 10”的演算为补充教学示例,非书中数据。
- 原始内容:其中的关系为贝尔曼方程,可以得到状态-行为函数的贝尔曼方程……定义最优的状态值函数。同理,最优的状态-动作函数。