原书出处
深入浅出强化学习:原理入门
08 第8章 基于置信域策略优化的强化学习方法
代价函数的第一次近似。其实,当新旧参数很接近时,我们用旧的状态分布代替新的状态分布也是合理的。这时,原来的代价函数变成
我们看(8.5)式的第二项策略部分,这时的动作a是由新的策略 产生的,可是新的策略 是带参数 的,而该参数是未知的,因此无法用来产生动作。这时,我们引入TRPO的第二个技巧。
(2)TRPO第二个技巧。 TRPO的第二个技巧是利用重要性采样处理动作分布。 我们再利用 ,替代回报函数变为 接下来
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00018.html
EPUB SHA-256:ae4f315e52c24fa9ecced8c7659f4c69287c6fc9158f48f7899711e24ebd8d57