知识卡片
经验回放重用非相邻转移
每一步把状态、动作、奖励、后继状态和终止标志写入有限缓冲区。训练时抽取一小批记录,以便同一经历用于多次更新,并削弱连续样本的时间相关。缓冲区反映过去一系列策略所访问的区域。随机抽样不会创造缺失的经验,也不能独自保证训练收敛。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 值函数逼近 7.3.1 DQN方法 · 查看原书依据
经历回放在强化学习的计算中是这样实现的:智能体跟环境不断交互,将在环境中学习积累的数据存储到记忆库中。存储的时候,是按照时间步为单元进行存储的,如<s1,a1,r2,s2>。每一次对神经网络的参数进行更新时,利用均匀随机采样的方法从数据库中抽取数据,然后通过抽取的数据对神经网络进行训练。
参考来源
- 位置:《强化学习》第07章《值函数逼近》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-016.xhtml#isbn9787302538295_7_1_2_3`)
- 结论依据:原文给出按转移存储、均匀随机抽取后更新网络的经验回放机制。
- 原始内容:经历回放在强化学习的计算中是这样实现的:智能体跟环境不断交互,将在环境中学习积累的数据存储到记忆库中。存储的时候,是按照时间步为单元进行存储的,如<s1,a1,r2,s2>。每一次对神经网络的参数进行更新时,利用均匀随机采样的方法从数据库中抽取数据,然后通过抽取的数据对神经网络进行训练。