知识卡片

普通读书笔记卡 · 1781.e.2

优化方向与曲率成本有关

理解等级:高级

普通梯度下降用负梯度作为方向,牛顿法借局部二阶模型用Hessian修正方向,拟牛顿用迭代信息近似曲率,减少直接构造与求逆成本。二阶法不是无条件更快,每步代价、维度、条件数和步长策略都会影响总成本;非凸目标也不能只因找到驻点就宣称全局最优。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大数据日知录:架构与算法》第16章《机器学习:分布式算法》,原文段落22,OEBPS/text00021.html。 - 结论依据:原书给出的机制、公式或算法与其适用范围;实验百分比和2014年系统状态不当作当前普遍保证。 - 原始内容:其中,Bt 是目标函数在Wt 处的海森矩阵,称这个搜索方向为牛顿方向,牛顿法具有收敛速度快的优势,但是计算海森矩阵的逆矩阵比较复杂。