原书出处
强化学习
10 确定性策略梯度 10.2.3 兼容性近似函数定理
在Actor-Critic算法中,在确定性策略梯度里引入了近似行为值函数Qw(s,a),不可避免地为算法引入了偏差。算法得出的梯度并不是真正的梯度。类似于随机策略梯度的情况,我们需要找到一个兼容近似函数Qw(s,a),使得Qw(s,a)在代替真值Qμ(s,a)的同时,不改变真值的梯度▽aQμ(s,a)。这就是确定性策略条件下的兼容性近似函数定理(Compatible Function Approximation Theorem)。同样地,只要近似函数Qw(s,a)同时满足如下两个条件,我们就可以说Qw(s,a)与策略μθ(s)兼容,就可以消除偏差。
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/强化学习/_epub-src/OEBPS/Text/1-019.xhtml
EPUB SHA-256:09d029c3e00ed3f65d67041527ebdeec43f6860c9e329632f76265063e65d5ae