知识卡片
经验回放机制
神经网络训练假设数据独立同分布,而强化学习顺序采集的样本高度相关,直接顺序训练会导致网络不稳定、不收敛。经验回放把转移样本存入数据库,训练时均匀随机采样小批量来打破样本间关联,同时提高数据复用率。这一灵感来自海马体重放一天记忆的神经科学发现。边界在于均匀采样并未区分样本重要性,这正是优先回放要改进之处。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 基于值函数逼近的强化学习方法 · 查看原书依据
通过经验回放为什么可以令神经网络的训练收敛且稳定? 原因是:训练神经网络时,存在的假设是训练数据是独立同分布的,但是通过强化学习采集的数据之间存在着关联性,利用这些数据进行顺序训练,神经网络当然不稳定。经验回放可以打破数据间的关联,如图6.8所示。
参考来源
- 位置:《深入浅出强化学习:原理入门》第6章 基于值函数逼近的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00015.html)
- 结论依据:正文用独立同分布假设与数据关联性解释了经验回放令训练稳定收敛的原因,并说明其均匀随机采样方式。
- 原始内容:通过经验回放为什么可以令神经网络的训练收敛且稳定? 原因是:训练神经网络时,存在的假设是训练数据是独立同分布的,但是通过强化学习采集的数据之间存在着关联性,利用这些数据进行顺序训练,神经网络当然不稳定。经验回放可以打破数据间的关联,如图6.8所示。