← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2700.f.1.a.1.a.2 · 生成模型:GPT-6

优先扫描传播变化最大的价值

理解等级:中级

规划时先计算每条模型转移的更新残差,绝对值超过阈值才加入优先队列。每次取优先级最高的状态动作执行更新,再检查它的前驱,因为刚改变的价值会影响这些前驱的目标。奖励稀疏时,新信息可以从目标附近沿着前驱传播,避免多次抽中目标几乎没变的状态。代价是要维护反向依赖及队列。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《强化学习》第11章《学习与规划》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-020.xhtml#isbn9787302538295_11_1_2_6`) - 结论依据:原文用迷宫奖励首轮只改变终点前动作解释为何要按改变量排序,并说明更新后的前驱入队。 - 原始内容:很自然的一个想法是以“值函数改变量”作为指标,对访问过的状态行为对进行优先级排序。构造一个优先级队列(Priority Queue),存储每次满足条件的状态行为对,如下为算法流程。