知识卡片
优化方向与曲率成本有关
普通梯度下降用负梯度作为方向,牛顿法借局部二阶模型用Hessian修正方向,拟牛顿用迭代信息近似曲率,减少直接构造与求逆成本。二阶法不是无条件更快,每步代价、维度、条件数和步长策略都会影响总成本;非凸目标也不能只因找到驻点就宣称全局最优。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 机器学习:分布式算法 · 查看原书依据
其中,Bt 是目标函数在Wt 处的海森矩阵,称这个搜索方向为牛顿方向,牛顿法具有收敛速度快的优势,但是计算海森矩阵的逆矩阵比较复杂。
参考来源
- 位置:《大数据日知录:架构与算法》第16章《机器学习:分布式算法》,原文段落22,OEBPS/text00021.html。
- 结论依据:原书给出的机制、公式或算法与其适用范围;实验百分比和2014年系统状态不当作当前普遍保证。
- 原始内容:其中,Bt 是目标函数在Wt 处的海森矩阵,称这个搜索方向为牛顿方向,牛顿法具有收敛速度快的优势,但是计算海森矩阵的逆矩阵比较复杂。