← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1781.e.2.a

限量历史替代完整海森矩阵

理解等级:中级

L-BFGS保留有限个近期步长差与梯度差等历史修正,用它们隐式计算近似逆Hessian作用。原文“两组向量及一组标量”应理解为受历史长度控制的多组信息,不是任意模型恒定只存两个向量。内存通常随参数维度与保留历史数增长,换取比完整平方矩阵更低的成本。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 机器学习:分布式算法 · 查看原书依据

      拟牛顿法(Quasi-Newton Methods)不直接计算海森矩阵或其逆矩阵,只需要每步迭代计算目标函数梯度,通过正定矩阵来拟合海森矩阵的逆矩阵,这样简化了计算过程。BFGS是最流行的拟牛顿法,只需通过增量计算来逼近海森矩阵的逆矩阵,避免了每次迭代的矩阵求逆运算。L-BFGS(Limited Memory-BFGS)是一种使用限量内存的BFGS改进算法,解决了BFGS每次迭代后需要保存海森矩阵的问题,只需要保存两组向量以及一组标量即可,有效地减少了对内存的占用,这对参数规模巨大的应用来说非常重要。

    参考来源

    - 位置:《大数据日知录:架构与算法》第16章《机器学习:分布式算法》,原文段落23,OEBPS/text00021.html。 - 结论依据:原书给出的机制、公式或算法与其适用范围;实验百分比和2014年系统状态不当作当前普遍保证。原文过度概括据第一手资料限定:[原始资料](https://docs.scipy.org/doc/scipy/reference/optimize.minimize-lbfgsb.html)。 - 原始内容:拟牛顿法(Quasi-Newton Methods)不直接计算海森矩阵或其逆矩阵,只需要每步迭代计算目标函数梯度,通过正定矩阵来拟合海森矩阵的逆矩阵,这样简化了计算过程。BFGS是最流行的拟牛顿法,只需通过增量计算来逼近海森矩阵的逆矩阵,避免了每次迭代的矩阵求逆运算。L-BFGS(Limited Memory-BFGS)是一种使用限量内存的BFGS改进算法,解决了BFGS每次迭代后需要保存海森矩阵的问题,只需要保存两组向量以及一组标量即可,有效地减少了对内存的占用,这对参数规模巨大的应用来说非常重要。