← 返回卡片

原书出处

深入浅出强化学习:原理入门

12 第12章 组合策略梯度和值函数方法

核验版本的摘录快照 · 导入于 2026-11-19T06:04:54.442Z

,则不等式变为 根据函数 的性质 ,原不等式(12.14)变为 由此我们可以看到,贝尔曼残差随着 的降低而收敛到0。

通过上面的分析,我们知道采用策略(12.8)式时贝尔曼残差收敛,而Qlearning的目标是减小贝尔曼残差。因此可以将熵正则化的策略梯度方法和 Qlearning 的方法结合运用,这就是PGQL算法。

PGQL 学习算法是基于值函数的估计,即(12.9)式,组合了熵正则化的策略梯度更新和Qlearning的方法。 其中

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00023.html

EPUB SHA-256:ae4f315e52c24fa9ecced8c7659f4c69287c6fc9158f48f7899711e24ebd8d57