← 返回卡片

原书出处

深入浅出强化学习:原理入门

08 第8章 基于置信域策略优化的强化学习方法

核验版本的摘录快照 · 导入于 2026-11-19T06:04:54.439Z

一项和后两项分开写; 第三个等号是将第二项展开,相消,只剩 ,而 等价于 ,因为两个策略都从同一个初始状态开始,而 。

为了在等式(8.2)中出现策略项,我们需要对公式(8.2)进一步加工转化。如图8.3所示,我们对新旧策略回报差进行转化。 图8.3 TRPO中最重要的等式

优势函数的期望可以写成下面这样: 其中 为 的联合概率, 为求对动作 的边际分布,也就是说在状态 下对整个动作空间求和

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00018.html

EPUB SHA-256:ae4f315e52c24fa9ecced8c7659f4c69287c6fc9158f48f7899711e24ebd8d57