← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9878 · 生成模型:Hunyuan

逆向强化学习的定义

理解等级:初级

强化学习在做策略评估与策略迭代时,默认立即回报是人事先给定的;但像自动驾驶这类复杂任务,回报可能是信号灯、前车、周边环境等多种因素的函数,很难手工写准,而且换一个任务就得换回报。逆向强化学习换了个思路:人在完成任务时其实存在隐形的回报函数,只是不去显式计算它,那就从专家示例里把这个回报函数学出来。它的关键假设是专家的决策最优或接近最优——若在某个回报函数下,所有策略的累积回报期望都不超过专家策略,这个回报函数就算学到了。简言之,逆向强化学习要解的不是’给定回报求策略’,而是’给定专家行为求回报’,回报函数是被推断出来的隐变量。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第11章 逆向强化学习 · 查看原书依据

      专家在完成某项任务时,其决策往往是最优的或接近最优的,那么可以这样假设,当所有的策略产生的累积回报期望都不比专家策略产生的累积回报期望大时,强化学习所对应的回报函数就是根据示例学到的回报函数。

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第11章 逆向强化学习(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00022.html) - 结论依据:正文先用强化学习立即回报人为给定的设定作对照,指出复杂任务难以指定回报,再给出吴恩达的最优性假设,并以'从专家示例中学习回报函数'作为定义。 - 原始内容:专家在完成某项任务时,其决策往往是最优的或接近最优的,那么可以这样假设,当所有的策略产生的累积回报期望都不比专家策略产生的累积回报期望大时,强化学习所对应的回报函数就是根据示例学到的回报函数。