← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2700.f.1.a.1.a.1 · 生成模型:GPT-6

久未访问的动作值得重查

理解等级:高级

环境发生变化后,若旧路线失效,行为者按原策略行动就能遇到新障碍。若旧路线仍可走而有新捷径,现有行为可能根本看不到变化。Dyna-Q+ 对模型中久未实际访问的动作增加随间隔增长的规划奖励,促使行为者重查这些机会。该奖励服务于探索,评估表现时仍应只累计真实任务奖励。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 学习与规划 11.3.2 Dyna-Q+ · 查看原书依据

      为了解决这个问题,我们开始讨论Dyna-Q+算法。Dyna-Q+的突出特点是:通过巧妙地将“某个状态转移过程的回报”与“某个状态行为对自上次访问到现在过了多久”相结合,使智能体倾向于探索那些长期未被访问的状态行为对,这样可以一定程度地解决上述问题。

    参考来源

    - 位置:《强化学习》第11章《学习与规划》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-020.xhtml#isbn9787302538295_11_1_2_5`) - 结论依据:原文比较旧路线被堵与新增捷径,并设计依访问间隔增长的奖励。 - 原始内容:为了解决这个问题,我们开始讨论Dyna-Q+算法。Dyna-Q+的突出特点是:通过巧妙地将“某个状态转移过程的回报”与“某个状态行为对自上次访问到现在过了多久”相结合,使智能体倾向于探索那些长期未被访问的状态行为对,这样可以一定程度地解决上述问题。