知识卡片

普通读书笔记卡 · 9878.d · 生成模型:Hunyuan

学徒学习与最大边际

理解等级:中级

学徒学习由吴恩达和 Abbeel 提出,整体是一个两步循环:第一步,在已迭代得到的策略中最大化专家与它们的值函数之差(最大边际),求出当前回报函数的参数;第二步,把这个回报函数当成真实回报,跑一遍正向强化学习得到新最优策略,再回到第一步。直观上可从支持向量机理解:把专家策略归为一类、其余策略归为另一类,求参数的本质是找一张超平面把两类分开并让边际最大,这里的边际就是专家与上一轮策略之间的值函数差。这个循环把’学回报’与’用回报求策略’交替进行,逻辑清晰;代价是每次迭代都要解一个 MDP,计算并不便宜,这正催生了后面不用求解 MDP 的结构化分类。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第11章 逆向强化学习 · 查看原书依据

      综上,逆向强化学习的学徒学习方法可分为两步:第一步在已经迭代得到的最优策略中,利用最大边际方法求出当前回报函数的参数值;第二步是将求出的回报函数作为当前系统的回报函数,并利用正向强化学习的方法求出此时的最优策略。有了最优策略再转到第一步,进入下次循环。

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第11章 逆向强化学习(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00022.html) - 结论依据:正文把学徒学习总结为'最大边际求参数—正向强化学习求最优策略'的两步,并明确用支持向量机超平面解释最大边际。 - 原始内容:综上,逆向强化学习的学徒学习方法可分为两步:第一步在已经迭代得到的最优策略中,利用最大边际方法求出当前回报函数的参数值;第二步是将求出的回报函数作为当前系统的回报函数,并利用正向强化学习的方法求出此时的最优策略。有了最优策略再转到第一步,进入下次循环。