← 返回卡片

原书出处

深入浅出强化学习:原理入门

08 第8章 基于置信域策略优化的强化学习方法

核验版本的摘录快照 · 导入于 2026-11-19T06:04:54.439Z

,我们就可以证明回报函数与替代回报函数之间的差别为 将(8.8a)式代入(8.8b)式得到 (8.8)不等式证明结束。

在(8.8)式中, 是两个分布的KL散度,我们看看(8.8)式给了我们什么启示。 首先,该不等式定义了 的下界,我们定义该下界为 。 接下来我们利用这个下界证明策略的单调性。

证明 如果新的策略 能使 最大,那么有不等式 ,则 ,这个使 最大的新策略就是我们一直苦苦寻找的要更新的策略。那么如何

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00018.html

EPUB SHA-256:ae4f315e52c24fa9ecced8c7659f4c69287c6fc9158f48f7899711e24ebd8d57