知识卡片
行为策略与目标策略
行为策略决定经验如何产生,目标策略是要评估或改进的规则。同策略学习使用同一规则做两件事,例如边用 ε-贪心选动作边估计它的回报。异策略学习允许用另一套规则收集经验,例如用均匀随机策略采集,用贪心策略作为目标。即使样本在训练时在线生成,也可用异策略方法更新。两种术语描述的是规则是否相同。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第4章 蒙特卡罗
原书出处 · 1 处
- 蒙特卡罗 4.4 在线策略蒙特卡罗 · 查看原书依据
根据产生采样的策略(行为策略)和评估改进的策略(原始策略)是否是同一个策略,蒙特卡罗方法又分为在线策略(on-policy)蒙特卡罗和离线策略(off-policy)蒙特卡罗。
参考来源
- 位置:《强化学习》第04章《蒙特卡罗》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-013.xhtml#isbn9787302538295_4_1_4`)
- 结论依据:原文按采样与评估改进是否遵循同一策略划分 on-policy 和 off-policy。
- 原始内容:根据产生采样的策略(行为策略)和评估改进的策略(原始策略)是否是同一个策略,蒙特卡罗方法又分为在线策略(on-policy)蒙特卡罗和离线策略(off-policy)蒙特卡罗。