知识卡片
模仿学习与逆强化学习
逆向强化学习脱胎于模仿学习:人学走路、学技能都从模仿开始,但有人只学到表面,有人学到精髓。最早的模仿学习是行为克隆,它把人的轨迹原样记录,下次执行时再恢复出来,本质上只是复现轨迹,遇到样本没覆盖的状态就无从泛化。逆向强化学习不满足于复制动作,而是从专家示例反推出背后的回报函数,再把回报函数用于任意场景求最优策略,因此能泛化。可以把它想成:行为克隆是背下答案,逆向强化学习是学出题规律——前者受限于样本覆盖范围,后者把专家偏好压缩成可迁移的目标函数,这也是它被称为’模仿到精髓’的原因。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 逆向强化学习 · 查看原书依据
行为克隆的方法只能模仿轨迹,无法泛化。而逆向强化学习是从专家(人为)示例中学到背后的回报函数,能泛化到其他场景,因此属于模仿到了精髓。
参考来源
- 位置:《深入浅出强化学习:原理入门》第11章 逆向强化学习(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00022.html)
- 结论依据:正文用'只模仿到表面/精髓'的比喻对照行为克隆与逆向强化学习,并明确指出行为克隆无法泛化、逆向强化学习能泛化到其他场景。
- 原始内容:行为克隆的方法只能模仿轨迹,无法泛化。而逆向强化学习是从专家(人为)示例中学到背后的回报函数,能泛化到其他场景,因此属于模仿到了精髓。