原书出处
深入浅出强化学习:原理入门
08 第8章 基于置信域策略优化的强化学习方法
一项和后两项分开写; 第三个等号是将第二项展开,相消,只剩 ,而 等价于 ,因为两个策略都从同一个初始状态开始,而 。
为了在等式(8.2)中出现策略项,我们需要对公式(8.2)进一步加工转化。如图8.3所示,我们对新旧策略回报差进行转化。 图8.3 TRPO中最重要的等式
优势函数的期望可以写成下面这样: 其中 为 的联合概率, 为求对动作 的边际分布,也就是说在状态 下对整个动作空间求和
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00018.html
EPUB SHA-256:ae4f315e52c24fa9ecced8c7659f4c69287c6fc9158f48f7899711e24ebd8d57