知识卡片
兼容评论家保持策略梯度
若价值近似以 ∇logπ 作为特征作线性组合,并在策略梯度对应的分布下最小化对真实动作价值的均方误差,拟合残差会和每个策略特征正交。把拟合值代入期望策略梯度时,残差项为零。这个条件约束整体期望梯度。单独某个状态或某个动作的价值仍可能估错。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Actor-Critic及变种 9.1.3 兼容性近似函数定理 · 查看原书依据
算法中,使用近似函数Qw(s,a)代替了真实值函数Qπ(s,a),不可避免地为算法引入了偏差,那么如何避免呢?Sutton在1999年提出的兼容性近似函数定理(Compatible Function Approximation Theorem)很好地解决了这个问题。他认为只要近似函数Qw(s,a)同时满足如下两个条件,就可以消除偏差。
参考来源
- 位置:《强化学习》第09章《Actor-Critic及变种》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-018.xhtml#isbn9787302538295_9_1_1_3`)
- 结论依据:原文在两项兼容条件下证明近似价值与真实价值产生同一加权梯度。
- 原始内容:算法中,使用近似函数Qw(s,a)代替了真实值函数Qπ(s,a),不可避免地为算法引入了偏差,那么如何避免呢?Sutton在1999年提出的兼容性近似函数定理(Compatible Function Approximation Theorem)很好地解决了这个问题。他认为只要近似函数Qw(s,a)同时满足如下两个条件,就可以消除偏差。