知识卡片
预测误差可作探索奖励
当环境很晚才发奖励,可将当前特征和动作预测出的下一特征与实际下一特征比较,误差越大越鼓励该次尝试。逆模型从前后画面推断动作,使编码更关注行动可影响的成分。预测不了的噪声仍可能给出高误差,因此需要验证奖励是否真推动可控探索。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
换句话说,内部奖励是动作结果的预测误差。
参考来源
- 位置:《AI游戏开发和深度学习进阶》第5章 5.6 充满好奇心的马里奥(book-source,`extracted/AI游戏开发和深度学习进阶/_epub-src/OEBPS/Text/0047.xhtml`)
- 结论依据:原文以图 5.20 和前向、逆向公式组成 ICM。
- 原始内容:换句话说,内部奖励是动作结果的预测误差。