← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9877.e · 生成模型:Hunyuan

L-BFGS有限内存优化

理解等级:中级

监督相训练策略网络需要优化算法;BFGS是拟牛顿法,靠近似Hessian矩阵加速收敛,但要显式存储一个 N×N 的Hessian近似矩阵。当参数量N很大时(深度网络动辄数百万参数),这个矩阵的存储和读写都不可承受——例如 N=100 万时,双精度矩阵约需8TB内存,根本放不下,所以BFGS只适合中小规模问题。L-BFGS(Limited-memory BFGS)的办法是:不存完整矩阵,只存最近 m 步的迭代点差 s_k 与梯度差 y_k,用这两个序列通过 m 次迭代隐式逼近 Hessian 与梯度的乘积。由于 m 通常只取5到20,存储量从 N² 量级降到约 mN 量级,仍线性于参数量,因而可用于大规模网络训练。这正是GPS监督相能训练大策略网络的关键工程手段。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出强化学习:原理入门》第10章 基于引导策略搜索的强化学习方法(源文件:extracted/深入浅出强化学习:原理入门/_epub-src/OEBPS/text00020.html) - 结论依据:原文指出BFGS是只适合中小规模的最优算法,因为它需要存储一个 N×N 的矩阵;并说明L-BFGS不再存储完整的矩阵,而是存储迭代点和梯度差序列,且只存最近的m个迭代序列即可。 - 原始内容:BFGS 是只适合中小规模的最优算法,因为它需要存储一个 N×N 的矩阵,如果N非常大,需要占用大量的内存空间,导致矩阵的读取和存储耗费大量的时间。