← 返回卡片

原书出处

强化学习

10 确定性策略梯度 10.2.3 兼容性近似函数定理

第1版 · 核验版本的摘录快照 · 导入于 2026-11-20T14:51:48.895Z

在Actor-Critic算法中,在确定性策略梯度里引入了近似行为值函数Qw(s,a),不可避免地为算法引入了偏差。算法得出的梯度并不是真正的梯度。类似于随机策略梯度的情况,我们需要找到一个兼容近似函数Qw(s,a),使得Qw(s,a)在代替真值Qμ(s,a)的同时,不改变真值的梯度▽aQμ(s,a)。这就是确定性策略条件下的兼容性近似函数定理(Compatible Function Approximation Theorem)。同样地,只要近似函数Qw(s,a)同时满足如下两个条件,我们就可以说Qw(s,a)与策略μθ(s)兼容,就可以消除偏差。

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/强化学习/_epub-src/OEBPS/Text/1-019.xhtml

EPUB SHA-256:09d029c3e00ed3f65d67041527ebdeec43f6860c9e329632f76265063e65d5ae