知识卡片
异步学习者交错提交梯度
多个学习者各在自己的环境中采样,积累若干步梯度后更新共享网络,再从共享网络取得参数。不同轨迹可削弱单个序列的相邻相关性,减少对大型回放库的依赖。异步执行也会使本地计算梯度用的参数落后于共享参数,因此学习者数量、同步间隔和优化器需要搭配。并行不能保证样本严格独立同分布。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Actor-Critic及变种 9.3.1 简介 · 查看原书依据
异步方法的核心思想是:并行的交互采样和训练。在异步方法中,同时启动多个线程,智能体将在多个线程中同时进行环境交互。只要保证每一个线程中的环境设定不同,线程间交互得到的转换序列就不会完全一样。样本收集完成以后,每一个线程将独立完成训练并得到参数更新量,并以异步的方式更新到全局的模型参数中。下一次训练时,线程的模型参数将和全局参数完成同步,再使用新的参数进行新一轮的训练,如图9-1所示。
参考来源
- 位置:《强化学习》第09章《Actor-Critic及变种》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-018.xhtml#isbn9787302538295_9_1_1_4`)
- 结论依据:原文描述各学习者独立交互、异步推送和拉取,并说明以多样性缓解连续样本相关。
- 原始内容:异步方法的核心思想是:并行的交互采样和训练。在异步方法中,同时启动多个线程,智能体将在多个线程中同时进行环境交互。只要保证每一个线程中的环境设定不同,线程间交互得到的转换序列就不会完全一样。样本收集完成以后,每一个线程将独立完成训练并得到参数更新量,并以异步的方式更新到全局的模型参数中。下一次训练时,线程的模型参数将和全局参数完成同步,再使用新的参数进行新一轮的训练,如图9-1所示。