知识卡片

普通读书笔记卡 · 9889.e · 生成模型:Hunyuan

高维鞍点比局部极小更常见

理解等级:高级

鞍点处 Hessian 同时具有正、负特征值:沿正特征值方向代价上升,沿负特征值方向代价下降,因此它既是某个截面的极小也是另一个截面的极大。用抛硬币类比特征值符号:一维时一次正面就得到局部极小,n 维时要 n 次全正面,难度随维度指数增长,所以高维空间中鞍点远多于局部极小。而且低代价临界点更可能是局部极小,高代价临界点更可能是鞍点或极大值。对一阶方法,鞍点处梯度很小但梯度下降往往能逃逸;对明确寻找梯度为零点的牛顿法,鞍点是严重问题,可能直接跳进去,这催生了无鞍牛顿法。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第8章 深度模型中的优化 · 查看原书依据

      鞍点附近的某些点比鞍点有更大的代价,而其他点则有更小的代价。在鞍点处,Hessian矩阵同时具有正负特征值。位于正特征值对应的特征向量方向的点比鞍点有更大的代价,反之,位于负特征值对应的特征向量方向的点有更小的代价。

    参考来源

    - 位置:《深度学习》第8章 深度模型中的优化(源文件:extracted/深度学习/_epub-src/text/part0003.html) - 结论依据:原文描述鞍点附近点代价有升有降、Hessian 同时含正负特征值,并说明沿不同特征值方向的代价变化。 - 原始内容:鞍点附近的某些点比鞍点有更大的代价,而其他点则有更小的代价。在鞍点处,Hessian矩阵同时具有正负特征值。位于正特征值对应的特征向量方向的点比鞍点有更大的代价,反之,位于负特征值对应的特征向量方向的点有更小的代价。