知识卡片

普通读书笔记卡 · 3796.d.2

贝尔曼关系拆分当前与未来

理解等级:中级

贝尔曼期望关系把价值拆为下一步奖励加上折扣后的后续价值:vπ(s)=E[R{t+1}+γvπ(S{t+1})|S_t=s]。因为折扣回报满足 Gt=R{t+1}+γG_{t+1},对其取期望就得到这一递归式;期望同时覆盖策略选动作和环境转移的随机性。这样长程回报不必展开无穷项,可由“下一状态的价值”递推。

示例:若下一步奖励必为 1、必到达价值为 10 的状态,γ=0.9,则当前价值为 1+0.9×10=10。

求最优价值时在可选动作中取最大:q(s,a)=Rs^a+γΣ{s’}P{ss’}^a·max{a’}q(s’,a’),其中 Rs^a 是在 s 做 a 的期望奖励,P{ss’}^a 是转到 s’ 的概率。最大运算应覆盖该动作的全部即时与未来回报,而不能只最大化即时奖励。回报有限等条件仍须满足。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《智能算法导论》第 202 项《21.1.2 基于马尔可夫决策过程的强化学习》(源文件:`_epub-src/EPUB/xhtml/chapter21_0003.xhtml`) - 结论依据:式21-6–21-11给出递归期望和最优形式;式21-10最大化范围及最优值下标存在排印疑点,按上下文只保留递归语义,不直接照抄;正文所列 q* 式按式21-11 去掉多余下标 π 后写出,“奖励 1、后续价值 10”的演算为补充教学示例,非书中数据。 - 原始内容:其中的关系为贝尔曼方程,可以得到状态-行为函数的贝尔曼方程……定义最优的状态值函数。同理,最优的状态-动作函数。