知识卡片

普通读书笔记卡 · 2700.f.1.a.1.a.3 · 生成模型:GPT-6

Dyna二把搜索作为局部修正

理解等级:高级

Dyna-2 用真实样本持续训练可跨状态复用的长期价值。每次要行动时,从当前状态出发对模型做模拟搜索,用这些样本训练临时价值修正。两份价值合在一起决定本步动作。相比于 Dyna 将两类经验写入一份长期值表,这种组织可让短时模拟集中回答眼下的动作选择。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 学习与规划 11.4 Dyna-2 · 查看原书依据

      综上所述,Dyna-2涉及了两个值函数,因此需要维护两套特征权重。一套反映智能体的永久记忆(Permanent Memory),用θ表示。永久记忆一般是普适性的,要求比较准确,该记忆利用实际经验来更新,对应的值函数也叫永久值函数。另一套反应智能体的瞬时记忆(Transient Memory),用表示。瞬时记忆用于即时决策,用拟合经验来更新,对应的值函数也叫瞬时值函数。无论是永久值函数还是瞬时值函数,两者都使用Sarsa(λ)求解。

    参考来源

    - 位置:《强化学习》第11章《学习与规划》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-020.xhtml#isbn9787302538295_11_1_2_7`) - 结论依据:原文比较 Dyna 与 Dyna-2 持有的价值函数数量、搜索起点,以及两套权重的用途。 - 原始内容:综上所述,Dyna-2涉及了两个值函数,因此需要维护两套特征权重。一套反映智能体的永久记忆(Permanent Memory),用θ表示。永久记忆一般是普适性的,要求比较准确,该记忆利用实际经验来更新,对应的值函数也叫永久值函数。另一套反应智能体的瞬时记忆(Transient Memory),用表示。瞬时记忆用于即时决策,用拟合经验来更新,对应的值函数也叫瞬时值函数。无论是永久值函数还是瞬时值函数,两者都使用Sarsa(λ)求解。