← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9877.g · 生成模型:Hunyuan

动量映射与信息映射

理解等级:高级

变分推理GPS(vGPS)和约束GPS(cGPS)的差别,本质是KL散度方向不同带来的两种投影。设 p 为目标分布、q 为逼近 p 的近似分布,KL 不具对称性,于是有两种:q 在前(KL(q||p))的是信息映射I-projection,p 在前(KL(p||q))的是动量映射M-projection。动量映射强迫 q 在 p 概率高的地方也高,若 q 限制为高斯分布,它会去平均 p 的多个模态;信息映射强迫 q 在 p 为零的地方也为零,因此会锁定 p 的单个模态并压低坏区域。用轨迹理解:vGPS用M-projection,优化出的策略想覆盖全部高概率轨迹,难免把低概率坏轨迹也拉进来,坏轨迹被赋予高概率,策略可能崩溃;cGPS用I-projection,坏轨迹被抑制,策略更稳定。这就是GPS从变分推理演进到约束形式的关键原因。小数字直觉:若好轨迹概率0.9、坏轨迹0.1,M投影可能为求平均给坏轨迹不低概率,而I投影会把坏轨迹压到接近0。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第10章 基于引导策略搜索的强化学习方法 · 查看原书依据

      变分GPS得到的是最优策略的M-projection,如(10.32)式所示。根据该式优化得到的策略试图覆盖整个高概率轨迹,这难免会包括一些低概率的轨迹,就会导致任意坏的轨迹也有高的轨迹,使策略崩溃。而约束 GPS 得到的最优策略是 I-projection,如(10.33)式所示。

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第10章 基于引导策略搜索的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00020.html) - 结论依据:原文分别定义了动量映射或M-projection与信息映射或I-projection,并总结变分GPS得到M-projection、会使策略崩溃,而约束GPS得到I-projection、坏的轨迹会得到抑制,因而能得到更稳定的优化策略。 - 原始内容:变分GPS得到的是最优策略的M-projection,如(10.32)式所示。根据该式优化得到的策略试图覆盖整个高概率轨迹,这难免会包括一些低概率的轨迹,就会导致任意坏的轨迹也有高的轨迹,使策略崩溃。而约束 GPS 得到的最优策略是 I-projection,如(10.33)式所示。