知识卡片
REINFORCE算法
REINFORCE 是最基本的蒙特卡洛策略梯度算法:用当前随机策略采样完整轨迹,计算每条轨迹的总回报,再按 ∇log π(aₜ|sₜ;θ)·(R(τ)−b) 累加更新参数。引入基线后的公式(7.10)有一个关键特征:同一轨迹里每个动作对应的 score 都乘以完全相同的该轨迹总回报,如图 7.5 所示。问题在于当前动作与它之前发生的回报没有因果关系——第 t 步动作不该被 t 之前的回报加减。于是有两种改造:G(PO)MDP 改用该步之后的回报;策略梯度理论改用动作值函数 Q(s,a) 或优势函数 A(s,a) 作权重,进一步降低方差。小演算:一条三步轨迹的逐步回报为 [0,+1,−1],总回报为 0,用总回报时三步权重全为 0、学不到东西;改用从当前步起的回报后,第三步权重 −1,至少最后一步能被正确抑制。可迁移启发:信用分配粒度太粗时,先用因果结构切分回报再反馈给参数。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 基于策略梯度的强化学习方法 · 查看原书依据
在公式(7.10)中,每个动作 所对应的 都乘以相同的该轨迹的总回报 ,如图7.5所示。 图7.5 REINFORCE方法 然而,当前的动作与过去的回报实际上是没有关系的,即 因此,我们可以修改(7.10)中的回报函数,有两种修改方法。
参考来源
- 位置:《深入浅出强化学习:原理入门》第7章 基于策略梯度的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00017.html)
- 结论依据:原文以图 7.5 说明 REINFORCE 中每个动作乘以相同总回报,并指出当前动作与过去回报无关,进而给出 G(PO)MDP 与策略梯度理论两种修改方法。
- 原始内容:在公式(7.10)中,每个动作 所对应的 都乘以相同的该轨迹的总回报 ,如图7.5所示。 图7.5 REINFORCE方法 然而,当前的动作与过去的回报实际上是没有关系的,即 因此,我们可以修改(7.10)中的回报函数,有两种修改方法。