知识卡片

普通读书笔记卡 · 9871.f · 生成模型:Hunyuan

同策略与异策略

理解等级:中级

划分标准是「产生数据的行为策略」与「被评估、被改善的目标策略」是否同一个。同策略(on-policy):两者相同,典型是都采用 ε-greedy,数据与目标一致,直接对回报求平均即可,但探索能力受限于目标策略本身。异策略(off-policy):两者不同,可用探索性强的行为策略采集数据,去评估并改善一个贪婪的目标策略,从而保证充分探索;代价是必须满足覆盖性条件——目标策略会选的动作在行为策略下概率必须大于零,并借助 [[重要性采样]] 修正两个分布之间的差异。这个权衡决定了何时愿意引入方差换取数据利用率。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第4章 基于蒙特卡罗的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00013.html) - 结论依据:原文给出 on-policy 与 off-policy 的定义,说明异策略可保证充分探索、目标与行为策略须满足覆盖性条件,并指出评估目标策略需要重要性采样。 - 原始内容:若行动策略和评估及改善的策略是同一个策略,我们称为on-policy,可翻译为同策略。 若行动策略和评估及改善的策略是不同的策略,我们称为off-policy,可翻译为异策略。