原书出处
深入浅出强化学习:原理入门
12 第12章 组合策略梯度和值函数方法
,则不等式变为 根据函数 的性质 ,原不等式(12.14)变为 由此我们可以看到,贝尔曼残差随着 的降低而收敛到0。
通过上面的分析,我们知道采用策略(12.8)式时贝尔曼残差收敛,而Qlearning的目标是减小贝尔曼残差。因此可以将熵正则化的策略梯度方法和 Qlearning 的方法结合运用,这就是PGQL算法。
PGQL 学习算法是基于值函数的估计,即(12.9)式,组合了熵正则化的策略梯度更新和Qlearning的方法。 其中
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00023.html
EPUB SHA-256:ae4f315e52c24fa9ecced8c7659f4c69287c6fc9158f48f7899711e24ebd8d57