知识卡片
梯度公式的直观
把策略梯度的乘积项拆开看:∇log π(aₜ|sₜ;θ) 是轨迹概率随参数变化最陡的方向——沿正方向更新,该轨迹更易被采样,沿负方向则更不易。R(τ) 是标量权重,决定更新方向与步长:回报为正且越大越强化该轨迹,为负则抑制它。合起来的效果就是增加高回报路径的概率、减小低回报路径的概率。小演算:若轨迹 A 回报 +20、轨迹 B 回报 −5,两者 score 幅度相同且为正,按回报加权后 A 的更新幅度是 B 的 4 倍且符号相反,策略因而向 A 倾斜、远离 B。边界在于:这里用的是整条轨迹的总回报,与中间某一步动作并无因果对应,因此方差很大——这正是基线与因果回报改造要解决的问题。可迁移启发是:任何“加权打分函数”式更新,都可拆成方向项乘权重项来理解。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 基于策略梯度的强化学习方法 · 查看原书依据
因此,从直观上理解策略梯度时,我们发现策略梯度会增加高回报路径的概率,减小低回报路径的概率。如图7.4所示,高回报区域的轨迹概率被增大,低回报区域的轨迹概率被减小。
参考来源
- 位置:《深入浅出强化学习:原理入门》第7章 基于策略梯度的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00017.html)
- 结论依据:原文逐项解释公式:第一项是轨迹概率随参数变化最陡的方向,第二项控制参数更新的方向和步长,并总结为增大高回报路径、减小低回报路径的概率。
- 原始内容:因此,从直观上理解策略梯度时,我们发现策略梯度会增加高回报路径的概率,减小低回报路径的概率。如图7.4所示,高回报区域的轨迹概率被增大,低回报区域的轨迹概率被减小。