← 返回卡片

原书出处

深入浅出强化学习:原理入门

08 第8章 基于置信域策略优化的强化学习方法

核验版本的摘录快照 · 导入于 2026-11-19T06:04:54.439Z

代价函数的第一次近似。其实,当新旧参数很接近时,我们用旧的状态分布代替新的状态分布也是合理的。这时,原来的代价函数变成

我们看(8.5)式的第二项策略部分,这时的动作a是由新的策略 产生的,可是新的策略 是带参数 的,而该参数是未知的,因此无法用来产生动作。这时,我们引入TRPO的第二个技巧。

(2)TRPO第二个技巧。 TRPO的第二个技巧是利用重要性采样处理动作分布。 我们再利用 ,替代回报函数变为 接下来

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00018.html

EPUB SHA-256:ae4f315e52c24fa9ecced8c7659f4c69287c6fc9158f48f7899711e24ebd8d57