知识卡片
Q学习取舍
Q 学习直接估计状态-动作价值,行动选择和学习阶段都可不依赖环境模型。简洁带来通用性,但缺少模型也意味着智能体难以主动模拟未来。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 强化学习 22.3.3 时序差分Q学习 · 查看原书依据
这个等式的重要的性质在于它所不包含的内容:无论在学习过程中还是动作选择中,时序差分Q学习智能体都不需要转移模型。如我们在本章开头所述,无模型方法可以应用于非常复杂的领域,因为它们不需要利用或者学习该模型。另外,Q学习智能体无法了解未来的信息,因此当奖励稀疏时智能体可能会遇到困难,并且此时它必须构造长的动作序列才能到达有奖励的部分。
参考来源
- 位置:《人工智能:现代方法(第4版)(上下册)》第22章《强化学习》(源文件:`extracted/人工智能:现代方法(第4版)(上下册)/_epub-src/text/part0043_split_003.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:Q 学习直接估计状态-动作价值,行动选择和学习阶段都可不依赖环境模型。原文从「22.3.3 时序差分Q学习」处给出对应机制与依据,支撑本卡结论。
- 原始内容:这个等式的重要的性质在于它所不包含的内容:无论在学习过程中还是动作选择中,时序差分Q学习智能体都不需要转移模型。如我们在本章开头所述,无模型方法可以应用于非常复杂的领域,因为它们不需要利用或者学习该模型。另外,Q学习智能体无法了解未来的信息,因此当奖励稀疏时智能体可能会遇到困难,并且此时它必须构造长的动作序列才能到达有奖励的部分。