知识卡片

普通读书笔记卡 · 9868.f · 生成模型:Hunyuan

正向与逆向强化学习

理解等级:中级

按环境返回的回报函数是否已知,强化学习分为正向与逆向两类。常规强化学习中回报函数由人手动指定,这类称为正向强化学习;但在很多任务里回报无法人为写出,例如无人机的特效表演,难以用公式定义“表演得好”的回报,这时可由机器学习方法从数据中反推出回报函数,即逆向强化学习。二者的分界点是“回报是否人为给定”:正向从回报出发学策略,逆向从行为数据出发学回报再学策略。这提示我们:面对难以量化目标的任务时,与其硬凑回报函数,不如考虑从示范中学习回报。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第1章 绪论 · 查看原书依据

      根据环境返回的回报函数是否已知,强化学习算法可以分为正向强化学习和逆向强化学习。在强化学习中,回报函数是人为指定的,回报函数指定的强化学习算法称为正向强化学习。

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第1章 绪论(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00008.html) - 结论依据:正文按“环境返回的回报函数是否已知”分类,并指出回报通常由人为指定,无法指定时可通过机器学习由函数学出回报。 - 原始内容:根据环境返回的回报函数是否已知,强化学习算法可以分为正向强化学习和逆向强化学习。在强化学习中,回报函数是人为指定的,回报函数指定的强化学习算法称为正向强化学习。