← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9874.d · 生成模型:Hunyuan

梯度公式的直观

理解等级:中级

把策略梯度的乘积项拆开看:∇log π(aₜ|sₜ;θ) 是轨迹概率随参数变化最陡的方向——沿正方向更新,该轨迹更易被采样,沿负方向则更不易。R(τ) 是标量权重,决定更新方向与步长:回报为正且越大越强化该轨迹,为负则抑制它。合起来的效果就是增加高回报路径的概率、减小低回报路径的概率。小演算:若轨迹 A 回报 +20、轨迹 B 回报 −5,两者 score 幅度相同且为正,按回报加权后 A 的更新幅度是 B 的 4 倍且符号相反,策略因而向 A 倾斜、远离 B。边界在于:这里用的是整条轨迹的总回报,与中间某一步动作并无因果对应,因此方差很大——这正是基线与因果回报改造要解决的问题。可迁移启发是:任何“加权打分函数”式更新,都可拆成方向项乘权重项来理解。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第7章 基于策略梯度的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00017.html) - 结论依据:原文逐项解释公式:第一项是轨迹概率随参数变化最陡的方向,第二项控制参数更新的方向和步长,并总结为增大高回报路径、减小低回报路径的概率。 - 原始内容:因此,从直观上理解策略梯度时,我们发现策略梯度会增加高回报路径的概率,减小低回报路径的概率。如图7.4所示,高回报区域的轨迹概率被增大,低回报区域的轨迹概率被减小。