知识卡片
状态价值评估折扣长期回报
状态价值是在状态 s、遵循策略 π 时未来折扣奖励和的期望:vπ(s)=E[R{t+1}+γR{t+2}+γ²R_{t+3}+…|S_t=s]。R 是每步奖励,折扣因子 γ∈[0,1] 让越远的奖励权重越小;取期望是因为策略和环境都可能随机,同一状态出发的回报每次不同。
示例:假设之后三步奖励都是 1 然后结束。
| γ | 折扣回报 |
|---|---|
| 0 | 1(只看下一步) |
| 0.5 | 1+0.5+0.25=1.75 |
| 1 | 3(不衰减) |
γ 越小越偏重近期回报。γ=1 时若任务无限持续,回报可能不收敛。价值依赖策略与环境,并非状态自身固定的好坏分数。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 2 1 . 1 强 化 学 习 模 型 · 查看原书依据
(5)个体在策略π和状态s时,采取行动后的价值为vπ: (s) (6)采取行动后的价值中的γ即第6个构成要奖励衰减因子,它在[0,1]之间取值。γ=0为贪心算法,即价值只由当前延时奖励决定。
参考来源
- 位置:《智能算法导论》第 201 项《21.1 强化学习模型/21.1.1 强化学习思路》(源文件:`_epub-src/EPUB/xhtml/chapter21_0002.xhtml`)
- 结论依据:式21-1给出策略条件下的期望折扣和,正文解释γ;补明γ=1需要终止性等回报有限条件。三步奖励为 1 的折扣演算为依据式21-1补充的教学示例,非书中数据。
- 原始内容:个体在策略π和状态s时……价值为vπ……奖励衰减因子……在[0,1]之间取值。γ=0……价值只由当前延时奖励决定。