知识卡片

普通读书笔记卡 · 6473.d.5.b · 生成模型:未记录

即时奖励不能充分评价长期动作

理解等级:中级

仅根据动作后的即时奖励更新策略会忽略它对未来状态和奖励的影响。例如游戏中移动本身得分为零,却可能为稍后成功射击创造条件;若任务目标是长期回报,就应把后续奖励纳入动作评价。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 强化学习 14.3.1 使用即时奖励作为评价标准 · 查看原书依据

      以上是版本0,它其实并不是一个好的版本.因为把奖励设为 ,会让智能体变得短视,不再考虑长期收益.每一个动作,其实都会影响接下来的互动. 比如智能体在 采取动作,得到 ,这并不是互动的全部.因为 影响了, 会影响,也就会影响,所以每一个动作并不是独立的,每一个动作都会影响接下来发生的事情.

    参考来源

    - 位置:《深度学习详解》第14章《强化学习》14.3.1 使用即时奖励作为评价标准(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter14.xhtml`) - 结论依据:原文描述交互过程、按动作评分加权训练及即时奖励的短视。 - 原始内容:以上是版本0,它其实并不是一个好的版本.因为把奖励设为 ,会让智能体变得短视,不再考虑长期收益.每一个动作,其实都会影响接下来的互动. 比如智能体在 采取动作,得到 ,这并不是互动的全部.因为 影响了, 会影响,也就会影响,所以每一个动作并不是独立的,每一个动作都会影响接下来发生的事情.