知识卡片
学徒学习与最大边际
学徒学习由吴恩达和 Abbeel 提出,整体是一个两步循环:第一步,在已迭代得到的策略中最大化专家与它们的值函数之差(最大边际),求出当前回报函数的参数;第二步,把这个回报函数当成真实回报,跑一遍正向强化学习得到新最优策略,再回到第一步。直观上可从支持向量机理解:把专家策略归为一类、其余策略归为另一类,求参数的本质是找一张超平面把两类分开并让边际最大,这里的边际就是专家与上一轮策略之间的值函数差。这个循环把’学回报’与’用回报求策略’交替进行,逻辑清晰;代价是每次迭代都要解一个 MDP,计算并不便宜,这正催生了后面不用求解 MDP 的结构化分类。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 逆向强化学习 · 查看原书依据
综上,逆向强化学习的学徒学习方法可分为两步:第一步在已经迭代得到的最优策略中,利用最大边际方法求出当前回报函数的参数值;第二步是将求出的回报函数作为当前系统的回报函数,并利用正向强化学习的方法求出此时的最优策略。有了最优策略再转到第一步,进入下次循环。
参考来源
- 位置:《深入浅出强化学习:原理入门》第11章 逆向强化学习(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00022.html)
- 结论依据:正文把学徒学习总结为'最大边际求参数—正向强化学习求最优策略'的两步,并明确用支持向量机超平面解释最大边际。
- 原始内容:综上,逆向强化学习的学徒学习方法可分为两步:第一步在已经迭代得到的最优策略中,利用最大边际方法求出当前回报函数的参数值;第二步是将求出的回报函数作为当前系统的回报函数,并利用正向强化学习的方法求出此时的最优策略。有了最优策略再转到第一步,进入下次循环。