知识卡片
逆向强化学习的分类
早期逆向强化学习的数学形式可归结为最大边际化问题,沿着它发展出学徒学习、最大边际规划(MMP)、结构化分类和神经逆向强化学习四条路线,共同点是找一个把专家策略与其他策略分开的判别边界。最大边际的软肋是歧义:常常不存在一个回报函数能让专家行为既最优又明显优于其他行为,或者多个回报函数导出同一专家策略。基于概率模型的方法正面处理这种歧义,衍生出最大熵逆向强化学习、相对熵逆向强化学习、最大熵深度逆向强化学习和基于策略最优的方法。记住’最大边际—概率模型’这条主线,就能把本章十余种算法放进统一坐标系:前者追求把专家拉开得足够远,后者在解释专家行为的分布中挑最不武断的一个。
结构图:
flowchart TD
A[逆向强化学习 IRL] --> B[最大边际 Maximum Margin]
A --> C[概率模型 Probability Model]
B --> B1[学徒学习 Apprenticeship]
B --> B2[最大边际规划 MMP]
B --> B3[结构化分类 Structured Classification]
B --> B4[神经逆向强化学习 Neural IRL]
C --> C1[最大熵逆向强化学习 MaxEnt IRL]
C --> C2[相对熵逆向强化学习 Relative Entropy IRL]
C --> C3[最大熵深度逆向强化学习 Deep MaxEnt IRL]
C --> C4[基于策略最优 Policy Optimality IRL]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 逆向强化学习 · 查看原书依据
基于概率模型的方法可以解决歧义问题。学者们利用概率模型发展出了很多逆向强化学习算法,如最大熵逆向强化学习、相对熵逆向强化学习、最大熵深度逆向强化学习,基于策略最优的逆向强化学习等。
参考来源
- 位置:《深入浅出强化学习:原理入门》第11章 逆向强化学习(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00022.html)
- 结论依据:正文图11.1把逆向强化学习分为最大边际化与概率模型两类,并分别列举了各自代表性算法及其优缺点。
- 原始内容:基于概率模型的方法可以解决歧义问题。学者们利用概率模型发展出了很多逆向强化学习算法,如最大熵逆向强化学习、相对熵逆向强化学习、最大熵深度逆向强化学习,基于策略最优的逆向强化学习等。