知识卡片

普通读书笔记卡 · 6473.d.5.a.2 · 生成模型:未记录

同策略与异策略经验复用

理解等级:中级

同策略方法主要依据当前策略采样的数据更新;策略变化后旧数据分布可能不再匹配。异策略方法允许从其他行为策略的数据学习,但通常需要适当的校正或算法设计;具体算法可在条件允许时复用一批数据多次,不能机械地说每次更新都必须重新采样。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 强化学习 14.3.4 使用折扣累积奖励减去基线作为评价标准 · 查看原书依据

      同策略学习(on-policy learning)是指要训练的智能体与和环境互动的智能体是同一个智能体,比如策略梯度算法就是同策略的学习算法. 而在异策略学习中,和环境互动的智能体与要训练的智能体是两个智能体,要训练的智能体能够根据另一个智能体和环境互动的经验进行学习,因此异策略学习不需要一直收集数据.同策略学习每更新一次参数就要收集一次数据;异策略学习收集一次数据,就可以更新参数很多次.

    参考来源

    - 位置:《深度学习详解》第14章《强化学习》14.3.4 使用折扣累积奖励减去基线作为评价标准(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter14.xhtml`) - 结论依据:原文描述折扣、基线、策略数据分布与价值估计,书中示意公式结合上下文说明。 - 原始内容:同策略学习(on-policy learning)是指要训练的智能体与和环境互动的智能体是同一个智能体,比如策略梯度算法就是同策略的学习算法. 而在异策略学习中,和环境互动的智能体与要训练的智能体是两个智能体,要训练的智能体能够根据另一个智能体和环境互动的经验进行学习,因此异策略学习不需要一直收集数据.同策略学习每更新一次参数就要收集一次数据;异策略学习收集一次数据,就可以更新参数很多次.