知识卡片

普通读书笔记卡 · 9875.h · 生成模型:Hunyuan

KL散度下界与单调性

理解等级:高级

第二个重量级不等式给出真实回报的下界:η(π_new) ≥ L(π_new) − C·D_KL(π_old, π_new),其中 D_KL 是新旧策略分布的KL散度、C 是常数。含义是:替代目标 L 高估了多少,取决于新旧策略有多“不像”;策略越接近,KL 越小,下界越紧。证明思路是用一个“耦合的策略对”——在每个状态同时抽取新旧策略的一对动作,它们相同的概率很高,从而两条轨迹几乎一致,据此把回报差与 L 的差界定为 KL 的函数。利用这个下界可证明单调性:若某新策略使该下界最大,由于把旧策略代回时下界恰好等于 η(π_old),就有 η(π_new) ≥ η(π_old),即回报单调不减。这个“下界最大化”正是把强化学习变成可证明收敛的优化问题的关键。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第8章 基于置信域策略优化的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00018.html) - 结论依据:正文证明该不等式,说明它定义了回报的下界,并用该下界证明:使下界最大的新策略就是一直寻找的、能单调改善的要更新的策略。 - 原始内容:在(8.8)式中, 是两个分布的KL散度,我们看看(8.8)式给了我们什么启示。 首先,该不等式定义了 的下界,我们定义该下界为 。 接下来我们利用这个下界证明策略的单调性。