← 返回卡片

原书出处

大数据日知录_架构与算法

16 机器学习:分布式算法

2014年9月第1版 · 核验版本的摘录快照 · 导入于 2026-10-24T04:14:12.166Z

拟牛顿法(Quasi-Newton Methods)不直接计算海森矩阵或其逆矩阵,只需要每步迭代计算目标函数梯度,通过正定矩阵来拟合海森矩阵的逆矩阵,这样简化了计算过程。BFGS是最流行的拟牛顿法,只需通过增量计算来逼近海森矩阵的逆矩阵,避免了每次迭代的矩阵求逆运算。L-BFGS(Limited Memory-BFGS)是一种使用限量内存的BFGS改进算法,解决了BFGS每次迭代后需要保存海森矩阵的问题,只需要保存两组向量以及一组标量即可,有效地减少了对内存的占用,这对参数规模巨大的应用来说非常重要。

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00021.html

EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d