知识卡片
同策略与异策略经验复用
同策略方法主要依据当前策略采样的数据更新;策略变化后旧数据分布可能不再匹配。异策略方法允许从其他行为策略的数据学习,但通常需要适当的校正或算法设计;具体算法可在条件允许时复用一批数据多次,不能机械地说每次更新都必须重新采样。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 强化学习 14.3.4 使用折扣累积奖励减去基线作为评价标准 · 查看原书依据
同策略学习(on-policy learning)是指要训练的智能体与和环境互动的智能体是同一个智能体,比如策略梯度算法就是同策略的学习算法. 而在异策略学习中,和环境互动的智能体与要训练的智能体是两个智能体,要训练的智能体能够根据另一个智能体和环境互动的经验进行学习,因此异策略学习不需要一直收集数据.同策略学习每更新一次参数就要收集一次数据;异策略学习收集一次数据,就可以更新参数很多次.
参考来源
- 位置:《深度学习详解》第14章《强化学习》14.3.4 使用折扣累积奖励减去基线作为评价标准(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter14.xhtml`)
- 结论依据:原文描述折扣、基线、策略数据分布与价值估计,书中示意公式结合上下文说明。
- 原始内容:同策略学习(on-policy learning)是指要训练的智能体与和环境互动的智能体是同一个智能体,比如策略梯度算法就是同策略的学习算法. 而在异策略学习中,和环境互动的智能体与要训练的智能体是两个智能体,要训练的智能体能够根据另一个智能体和环境互动的经验进行学习,因此异策略学习不需要一直收集数据.同策略学习每更新一次参数就要收集一次数据;异策略学习收集一次数据,就可以更新参数很多次.