知识卡片
优先扫描传播变化最大的价值
规划时先计算每条模型转移的更新残差,绝对值超过阈值才加入优先队列。每次取优先级最高的状态动作执行更新,再检查它的前驱,因为刚改变的价值会影响这些前驱的目标。奖励稀疏时,新信息可以从目标附近沿着前驱传播,避免多次抽中目标几乎没变的状态。代价是要维护反向依赖及队列。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 学习与规划 11.3.3 优先级扫描的Dyna-Q · 查看原书依据
很自然的一个想法是以“值函数改变量”作为指标,对访问过的状态行为对进行优先级排序。构造一个优先级队列(Priority Queue),存储每次满足条件的状态行为对,如下为算法流程。
参考来源
- 位置:《强化学习》第11章《学习与规划》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-020.xhtml#isbn9787302538295_11_1_2_6`)
- 结论依据:原文用迷宫奖励首轮只改变终点前动作解释为何要按改变量排序,并说明更新后的前驱入队。
- 原始内容:很自然的一个想法是以“值函数改变量”作为指标,对访问过的状态行为对进行优先级排序。构造一个优先级队列(Priority Queue),存储每次满足条件的状态行为对,如下为算法流程。