知识卡片

普通读书笔记卡 · 9878.b · 生成模型:Hunyuan

模仿学习与逆强化学习

理解等级:初级

逆向强化学习脱胎于模仿学习:人学走路、学技能都从模仿开始,但有人只学到表面,有人学到精髓。最早的模仿学习是行为克隆,它把人的轨迹原样记录,下次执行时再恢复出来,本质上只是复现轨迹,遇到样本没覆盖的状态就无从泛化。逆向强化学习不满足于复制动作,而是从专家示例反推出背后的回报函数,再把回报函数用于任意场景求最优策略,因此能泛化。可以把它想成:行为克隆是背下答案,逆向强化学习是学出题规律——前者受限于样本覆盖范围,后者把专家偏好压缩成可迁移的目标函数,这也是它被称为’模仿到精髓’的原因。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第11章 逆向强化学习 · 查看原书依据

      行为克隆的方法只能模仿轨迹,无法泛化。而逆向强化学习是从专家(人为)示例中学到背后的回报函数,能泛化到其他场景,因此属于模仿到了精髓。

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第11章 逆向强化学习(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00022.html) - 结论依据:正文用'只模仿到表面/精髓'的比喻对照行为克隆与逆向强化学习,并明确指出行为克隆无法泛化、逆向强化学习能泛化到其他场景。 - 原始内容:行为克隆的方法只能模仿轨迹,无法泛化。而逆向强化学习是从专家(人为)示例中学到背后的回报函数,能泛化到其他场景,因此属于模仿到了精髓。