← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9878.e · 生成模型:Hunyuan

最大边际规划MMP

理解等级:高级

最大边际规划(MMP)把逆向强化学习建成一个六元组:状态空间、动作空间、状态转移概率、回报特征向量、专家轨迹和策略损失函数。学习者要找特征到回报的线性映射(即参数),使该映射下的最优策略落在专家策略附近。它加了两道约束:只允许让专家拿到最好回报的权值存在;专家值函数与其他策略值函数的差(边际差)要和策略损失函数成正比,而损失用两种策略在轨迹中选不同动作的总数衡量。这里的策略还被展开成状态访问频次,需满足流入等于流出的守恒关系,初始位置单独标记。借拉格朗日对偶,整个问题化成二次规划,可用凸优化求解。它比学徒学习更规整地写成约束优化,但约束变量是策略、仍需反复求解 MDP。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第11章 逆向强化学习 · 查看原书依据

      根据拉格朗日对偶原理(凸优化中的知识点,不了解的同学可以自学),其对偶问题为 联合(11.5)和(11.8)式,将逆向强化学习转化为一个二次规划问题: 利用凸优化求解方法求解系数,当然也可以利用其他更有效的方法进行求解。

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第11章 逆向强化学习(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00022.html) - 结论依据:正文给出 MMP 的六元组建模、两类约束、状态访问频次与流守恒,并用拉格朗日对偶化为二次规划。 - 原始内容:根据拉格朗日对偶原理(凸优化中的知识点,不了解的同学可以自学),其对偶问题为 联合(11.5)和(11.8)式,将逆向强化学习转化为一个二次规划问题: 利用凸优化求解方法求解系数,当然也可以利用其他更有效的方法进行求解。