知识卡片
用后继价值更新当前动作
遇到状态、动作、奖励和后继状态时,将旧 Q 值向即时奖励加折扣的后继最大 Q 值方向移动。学习率决定一步接纳多少新信息,折扣决定远期奖励的权重。终止时只剩即时奖励。采样时可以探索,更新目标仍计算贪心动作的估值。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
在这里α表示学习率(0<α≤1),γ表示折扣因子(0≤γ≤1)。
参考来源
- 位置:《AI游戏开发和深度学习进阶》第5章 5.2 DQN和街机游戏(book-source,`extracted/AI游戏开发和深度学习进阶/_epub-src/OEBPS/Text/0043.xhtml`)
- 结论依据:原文给出公式 5.5 和每回合重复采样流程。
- 原始内容:在这里α表示学习率(0<α≤1),γ表示折扣因子(0≤γ≤1)。