知识卡片
同策略与异策略
划分标准是「产生数据的行为策略」与「被评估、被改善的目标策略」是否同一个。同策略(on-policy):两者相同,典型是都采用 ε-greedy,数据与目标一致,直接对回报求平均即可,但探索能力受限于目标策略本身。异策略(off-policy):两者不同,可用探索性强的行为策略采集数据,去评估并改善一个贪婪的目标策略,从而保证充分探索;代价是必须满足覆盖性条件——目标策略会选的动作在行为策略下概率必须大于零,并借助 [[重要性采样]] 修正两个分布之间的差异。这个权衡决定了何时愿意引入方差换取数据利用率。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 基于蒙特卡罗的强化学习方法 · 查看原书依据
若行动策略和评估及改善的策略是同一个策略,我们称为on-policy,可翻译为同策略。 若行动策略和评估及改善的策略是不同的策略,我们称为off-policy,可翻译为异策略。
参考来源
- 位置:《深入浅出强化学习:原理入门》第4章 基于蒙特卡罗的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00013.html)
- 结论依据:原文给出 on-policy 与 off-policy 的定义,说明异策略可保证充分探索、目标与行为策略须满足覆盖性条件,并指出评估目标策略需要重要性采样。
- 原始内容:若行动策略和评估及改善的策略是同一个策略,我们称为on-policy,可翻译为同策略。 若行动策略和评估及改善的策略是不同的策略,我们称为off-policy,可翻译为异策略。