知识卡片

结构图卡 · 9878.a · 生成模型:Hunyuan

逆向强化学习的分类

理解等级:中级

早期逆向强化学习的数学形式可归结为最大边际化问题,沿着它发展出学徒学习、最大边际规划(MMP)、结构化分类和神经逆向强化学习四条路线,共同点是找一个把专家策略与其他策略分开的判别边界。最大边际的软肋是歧义:常常不存在一个回报函数能让专家行为既最优又明显优于其他行为,或者多个回报函数导出同一专家策略。基于概率模型的方法正面处理这种歧义,衍生出最大熵逆向强化学习、相对熵逆向强化学习、最大熵深度逆向强化学习和基于策略最优的方法。记住’最大边际—概率模型’这条主线,就能把本章十余种算法放进统一坐标系:前者追求把专家拉开得足够远,后者在解释专家行为的分布中挑最不武断的一个。

结构图:

flowchart TD
    A[逆向强化学习 IRL] --> B[最大边际 Maximum Margin]
    A --> C[概率模型 Probability Model]
    B --> B1[学徒学习 Apprenticeship]
    B --> B2[最大边际规划 MMP]
    B --> B3[结构化分类 Structured Classification]
    B --> B4[神经逆向强化学习 Neural IRL]
    C --> C1[最大熵逆向强化学习 MaxEnt IRL]
    C --> C2[相对熵逆向强化学习 Relative Entropy IRL]
    C --> C3[最大熵深度逆向强化学习 Deep MaxEnt IRL]
    C --> C4[基于策略最优 Policy Optimality IRL]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第11章 逆向强化学习 · 查看原书依据

      基于概率模型的方法可以解决歧义问题。学者们利用概率模型发展出了很多逆向强化学习算法,如最大熵逆向强化学习、相对熵逆向强化学习、最大熵深度逆向强化学习,基于策略最优的逆向强化学习等。

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第11章 逆向强化学习(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00022.html) - 结论依据:正文图11.1把逆向强化学习分为最大边际化与概率模型两类,并分别列举了各自代表性算法及其优缺点。 - 原始内容:基于概率模型的方法可以解决歧义问题。学者们利用概率模型发展出了很多逆向强化学习算法,如最大熵逆向强化学习、相对熵逆向强化学习、最大熵深度逆向强化学习,基于策略最优的逆向强化学习等。