← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 2700.f.1.a.1.a · 生成模型:GPT-6

Dyna让真实和模拟共用价值

理解等级:中级

Dyna-Q 每次真实交互首先直接更新 Q,然后将观察存入模型。它还从已知状态动作中采出若干对,让模型给出结果和奖励,并对同一 Q 表再次做一步更新。设规划次数为 0 就回到普通 Q-learning。增加规划可以减少所需环境交互次数,也会增加计算量,错误模型可能重复传播错误。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 学习与规划 11.3.1 Dyna-Q · 查看原书依据

      由图11-4可见,真实经验部分是整个算法的启动器,它是智能体和环境交互的结果。向左的箭头代表学习过程,通过真实经验数据直接更新值函数或策略函数。向右下方的箭头代表规划过程,先通过真实经验数据更新模型,再通过模型产生“模拟数据”。搜索和控制是指为模型经验数据选择初始状态和初始动作的过程。最后的规划更新把模拟数据当成真实发生的数据,在其上应用强化学习算法,更新值函数或策略函数。值函数或策略函数的最终值是规划和学习共同作用的结果。

    参考来源

    - 位置:《强化学习》第11章《学习与规划》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-020.xhtml#isbn9787302538295_11_1_2_4`) - 结论依据:原文将直接学习、拟合模型和规划列为三条通道,规划样本与真实样本都经过同一种 Q 更新。 - 原始内容:由图11-4可见,真实经验部分是整个算法的启动器,它是智能体和环境交互的结果。向左的箭头代表学习过程,通过真实经验数据直接更新值函数或策略函数。向右下方的箭头代表规划过程,先通过真实经验数据更新模型,再通过模型产生“模拟数据”。搜索和控制是指为模型经验数据选择初始状态和初始动作的过程。最后的规划更新把模拟数据当成真实发生的数据,在其上应用强化学习算法,更新值函数或策略函数。值函数或策略函数的最终值是规划和学习共同作用的结果。