知识卡片
确定性评论家匹配动作斜率
确定性行动者依赖的是评论家对动作的梯度。在策略所选动作处,如果近似动作梯度能由策略参数雅可比兼容地表示,并在相应分布下使梯度拟合误差最小,误差在策略雅可比方向上的贡献为零。普通值回归优化的是预测误差,实践中需要另外检验其动作斜率,不能假定自动满足兼容条件。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 确定性策略梯度 10.2.3 兼容性近似函数定理 · 查看原书依据
在Actor-Critic算法中,在确定性策略梯度里引入了近似行为值函数Qw(s,a),不可避免地为算法引入了偏差。算法得出的梯度并不是真正的梯度。类似于随机策略梯度的情况,我们需要找到一个兼容近似函数Qw(s,a),使得Qw(s,a)在代替真值Qμ(s,a)的同时,不改变真值的梯度▽aQμ(s,a)。这就是确定性策略条件下的兼容性近似函数定理(Compatible Function Approximation Theorem)。同样地,只要近似函数Qw(s,a)同时满足如下两个条件,我们就可以说Qw(s,a)与策略μθ(s)兼容,就可以消除偏差。
参考来源
- 位置:《强化学习》第10章《确定性策略梯度》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-019.xhtml#isbn9787302538295_10_1_1_5`)
- 结论依据:原文将随机策略的兼容条件改写到动作导数,并指出常规 Sarsa 或 Q-learning 估计不完全满足梯度拟合要求。
- 原始内容:在Actor-Critic算法中,在确定性策略梯度里引入了近似行为值函数Qw(s,a),不可避免地为算法引入了偏差。算法得出的梯度并不是真正的梯度。类似于随机策略梯度的情况,我们需要找到一个兼容近似函数Qw(s,a),使得Qw(s,a)在代替真值Qμ(s,a)的同时,不改变真值的梯度▽aQμ(s,a)。这就是确定性策略条件下的兼容性近似函数定理(Compatible Function Approximation Theorem)。同样地,只要近似函数Qw(s,a)同时满足如下两个条件,我们就可以说Qw(s,a)与策略μθ(s)兼容,就可以消除偏差。