知识卡片

普通读书笔记卡 · 9869.k.2.b.2.a.2.a · 生成模型:GPT-6

经验回放重用非相邻转移

理解等级:中级

每一步把状态、动作、奖励、后继状态和终止标志写入有限缓冲区。训练时抽取一小批记录,以便同一经历用于多次更新,并削弱连续样本的时间相关。缓冲区反映过去一系列策略所访问的区域。随机抽样不会创造缺失的经验,也不能独自保证训练收敛。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 值函数逼近 7.3.1 DQN方法 · 查看原书依据

      经历回放在强化学习的计算中是这样实现的:智能体跟环境不断交互,将在环境中学习积累的数据存储到记忆库中。存储的时候,是按照时间步为单元进行存储的,如<s1,a1,r2,s2>。每一次对神经网络的参数进行更新时,利用均匀随机采样的方法从数据库中抽取数据,然后通过抽取的数据对神经网络进行训练。

    参考来源

    - 位置:《强化学习》第07章《值函数逼近》(来源项目 book-source,`extracted/强化学习/_epub-src/OEBPS/Text/1-016.xhtml#isbn9787302538295_7_1_2_3`) - 结论依据:原文给出按转移存储、均匀随机抽取后更新网络的经验回放机制。 - 原始内容:经历回放在强化学习的计算中是这样实现的:智能体跟环境不断交互,将在环境中学习积累的数据存储到记忆库中。存储的时候,是按照时间步为单元进行存储的,如<s1,a1,r2,s2>。每一次对神经网络的参数进行更新时,利用均匀随机采样的方法从数据库中抽取数据,然后通过抽取的数据对神经网络进行训练。