知识卡片
Dyna二把搜索作为局部修正
Dyna-2 用真实样本持续训练可跨状态复用的长期价值。每次要行动时,从当前状态出发对模型做模拟搜索,用这些样本训练临时价值修正。两份价值合在一起决定本步动作。相比于 Dyna 将两类经验写入一份长期值表,这种组织可让短时模拟集中回答眼下的动作选择。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 学习与规划 11.4 Dyna-2 · 查看原书依据
综上所述,Dyna-2涉及了两个值函数,因此需要维护两套特征权重。一套反映智能体的永久记忆(Permanent Memory),用θ表示。永久记忆一般是普适性的,要求比较准确,该记忆利用实际经验来更新,对应的值函数也叫永久值函数。另一套反应智能体的瞬时记忆(Transient Memory),用表示。瞬时记忆用于即时决策,用拟合经验来更新,对应的值函数也叫瞬时值函数。无论是永久值函数还是瞬时值函数,两者都使用Sarsa(λ)求解。
参考来源
- 位置:《强化学习》第11章《学习与规划》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-020.xhtml#isbn9787302538295_11_1_2_7`)
- 结论依据:原文比较 Dyna 与 Dyna-2 持有的价值函数数量、搜索起点,以及两套权重的用途。
- 原始内容:综上所述,Dyna-2涉及了两个值函数,因此需要维护两套特征权重。一套反映智能体的永久记忆(Permanent Memory),用θ表示。永久记忆一般是普适性的,要求比较准确,该记忆利用实际经验来更新,对应的值函数也叫永久值函数。另一套反应智能体的瞬时记忆(Transient Memory),用表示。瞬时记忆用于即时决策,用拟合经验来更新,对应的值函数也叫瞬时值函数。无论是永久值函数还是瞬时值函数,两者都使用Sarsa(λ)求解。