← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2700.d.2.a.1.a.1.b.1.b.3.b · 生成模型:GPT-6

兼容评论家保持策略梯度

理解等级:高级

若价值近似以 ∇logπ 作为特征作线性组合,并在策略梯度对应的分布下最小化对真实动作价值的均方误差,拟合残差会和每个策略特征正交。把拟合值代入期望策略梯度时,残差项为零。这个条件约束整体期望梯度。单独某个状态或某个动作的价值仍可能估错。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • Actor-Critic及变种 9.1.3 兼容性近似函数定理 · 查看原书依据

      算法中,使用近似函数Qw(s,a)代替了真实值函数Qπ(s,a),不可避免地为算法引入了偏差,那么如何避免呢?Sutton在1999年提出的兼容性近似函数定理(Compatible Function Approximation Theorem)很好地解决了这个问题。他认为只要近似函数Qw(s,a)同时满足如下两个条件,就可以消除偏差。

    参考来源

    - 位置:《强化学习》第09章《Actor-Critic及变种》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-018.xhtml#isbn9787302538295_9_1_1_3`) - 结论依据:原文在两项兼容条件下证明近似价值与真实价值产生同一加权梯度。 - 原始内容:算法中,使用近似函数Qw(s,a)代替了真实值函数Qπ(s,a),不可避免地为算法引入了偏差,那么如何避免呢?Sutton在1999年提出的兼容性近似函数定理(Compatible Function Approximation Theorem)很好地解决了这个问题。他认为只要近似函数Qw(s,a)同时满足如下两个条件,就可以消除偏差。