← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2700.d.2.a.1.a.1.b.1.b.3.b.1 · 生成模型:GPT-6

确定性评论家匹配动作斜率

理解等级:高级

确定性行动者依赖的是评论家对动作的梯度。在策略所选动作处,如果近似动作梯度能由策略参数雅可比兼容地表示,并在相应分布下使梯度拟合误差最小,误差在策略雅可比方向上的贡献为零。普通值回归优化的是预测误差,实践中需要另外检验其动作斜率,不能假定自动满足兼容条件。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 确定性策略梯度 10.2.3 兼容性近似函数定理 · 查看原书依据

      在Actor-Critic算法中,在确定性策略梯度里引入了近似行为值函数Qw(s,a),不可避免地为算法引入了偏差。算法得出的梯度并不是真正的梯度。类似于随机策略梯度的情况,我们需要找到一个兼容近似函数Qw(s,a),使得Qw(s,a)在代替真值Qμ(s,a)的同时,不改变真值的梯度▽aQμ(s,a)。这就是确定性策略条件下的兼容性近似函数定理(Compatible Function Approximation Theorem)。同样地,只要近似函数Qw(s,a)同时满足如下两个条件,我们就可以说Qw(s,a)与策略μθ(s)兼容,就可以消除偏差。

    参考来源

    - 位置:《强化学习》第10章《确定性策略梯度》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-019.xhtml#isbn9787302538295_10_1_1_5`) - 结论依据:原文将随机策略的兼容条件改写到动作导数,并指出常规 Sarsa 或 Q-learning 估计不完全满足梯度拟合要求。 - 原始内容:在Actor-Critic算法中,在确定性策略梯度里引入了近似行为值函数Qw(s,a),不可避免地为算法引入了偏差。算法得出的梯度并不是真正的梯度。类似于随机策略梯度的情况,我们需要找到一个兼容近似函数Qw(s,a),使得Qw(s,a)在代替真值Qμ(s,a)的同时,不改变真值的梯度▽aQμ(s,a)。这就是确定性策略条件下的兼容性近似函数定理(Compatible Function Approximation Theorem)。同样地,只要近似函数Qw(s,a)同时满足如下两个条件,我们就可以说Qw(s,a)与策略μθ(s)兼容,就可以消除偏差。