原书出处
深入浅出强化学习:原理入门
10 第10章 基于引导策略搜索的强化学习方法
布是一个高斯分布,那么信息映射或者动量映射会逼近目标分布的单个模态。 现在,我们可以总结变分GPS和约束GPS的区别了。
变分GPS得到的是最优策略的M-projection,如(10.32)式所示。根据该式优化得到的策略试图覆盖整个高概率轨迹,这难免会包括一些低概率的轨迹,就会导致任意坏的轨迹也有高的轨迹,使策略崩溃。而约束 GPS 得到的最优策略是 I-projection,如(10.33)式所示。
根据I-projection 的性质,坏的轨迹会得到抑制。因此,相比于变分 GPS,约束 GPS 能得到更稳定的优化策略
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00020.html
EPUB SHA-256:ae4f315e52c24fa9ecced8c7659f4c69287c6fc9158f48f7899711e24ebd8d57