知识卡片
高维鞍点比局部极小更常见
鞍点处 Hessian 同时具有正、负特征值:沿正特征值方向代价上升,沿负特征值方向代价下降,因此它既是某个截面的极小也是另一个截面的极大。用抛硬币类比特征值符号:一维时一次正面就得到局部极小,n 维时要 n 次全正面,难度随维度指数增长,所以高维空间中鞍点远多于局部极小。而且低代价临界点更可能是局部极小,高代价临界点更可能是鞍点或极大值。对一阶方法,鞍点处梯度很小但梯度下降往往能逃逸;对明确寻找梯度为零点的牛顿法,鞍点是严重问题,可能直接跳进去,这催生了无鞍牛顿法。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 深度模型中的优化 · 查看原书依据
鞍点附近的某些点比鞍点有更大的代价,而其他点则有更小的代价。在鞍点处,Hessian矩阵同时具有正负特征值。位于正特征值对应的特征向量方向的点比鞍点有更大的代价,反之,位于负特征值对应的特征向量方向的点有更小的代价。
参考来源
- 位置:《深度学习》第8章 深度模型中的优化(源文件:extracted/深度学习/_epub-src/text/part0003.html)
- 结论依据:原文描述鞍点附近点代价有升有降、Hessian 同时含正负特征值,并说明沿不同特征值方向的代价变化。
- 原始内容:鞍点附近的某些点比鞍点有更大的代价,而其他点则有更小的代价。在鞍点处,Hessian矩阵同时具有正负特征值。位于正特征值对应的特征向量方向的点比鞍点有更大的代价,反之,位于负特征值对应的特征向量方向的点有更小的代价。