知识卡片
基线减小方差
(7.8)式的策略梯度虽无偏,但方差很大。做法是在回报中减去一个与动作无关的常数基线 b:用 R(τ)−b 替代 R(τ)。由于 score 函数在策略分布下的期望为零(概率归一化导致 Σ∇π=0,等价于 E[∇logπ]=0),减去的 b·score 项不改变梯度期望,因此估计仍无偏,方差却显著下降。直觉:回报的绝对数值往往整体偏大且波动大,减去一个“平均水平”参照后剩下的是比平均好多少的相对优势信号,反馈更稳定。最优基线可由最小化方差求得:令 X 为原估计量,对 Var(X−b·score) 关于 b 求导并令其为零,解出 b 与回报平方及 score 内积相关(对应 7.9 式)。小演算:两条轨迹回报 90 与 10(均值 50),取 b=50 后权重变为 +40 与 −40,好坏对比清晰;b=0 时两者同为正,难以区分。边界:基线必须不依赖当前动作,否则会引入偏差。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 基于策略梯度的强化学习方法 · 查看原书依据
(7.8)式的策略梯度是无偏的,但方差很大,我们在回报中引入常数基线b减小方差。 首先,证明当回报中引入常数b时,策略梯度不变,即
参考来源
- 位置:《深入浅出强化学习:原理入门》第7章 基于策略梯度的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00017.html)
- 结论依据:原文指出(7.8)式无偏但方差大,引入常数基线 b 后策略梯度不变,并通过令方差对 b 的导数为零求得最优基线。
- 原始内容:(7.8)式的策略梯度是无偏的,但方差很大,我们在回报中引入常数基线b减小方差。 首先,证明当回报中引入常数b时,策略梯度不变,即