知识卡片

普通读书笔记卡 · 9869.k.1.a.1.a · 生成模型:GPT-6

行为策略与目标策略

理解等级:中级

行为策略决定经验如何产生,目标策略是要评估或改进的规则。同策略学习使用同一规则做两件事,例如边用 ε-贪心选动作边估计它的回报。异策略学习允许用另一套规则收集经验,例如用均匀随机策略采集,用贪心策略作为目标。即使样本在训练时在线生成,也可用异策略方法更新。两种术语描述的是规则是否相同。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《强化学习》第04章《蒙特卡罗》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-013.xhtml#isbn9787302538295_4_1_4`) - 结论依据:原文按采样与评估改进是否遵循同一策略划分 on-policy 和 off-policy。 - 原始内容:根据产生采样的策略(行为策略)和评估改进的策略(原始策略)是否是同一个策略,蒙特卡罗方法又分为在线策略(on-policy)蒙特卡罗和离线策略(off-policy)蒙特卡罗。