知识卡片
黑塞矩阵判断临界点
黑塞矩阵收集损失函数对参数的二阶偏导,描述临界点附近不同方向的局部曲率。对足够光滑的函数,在梯度为零处,若特征值全正,则该点为严格局部最小值;全负为严格局部最大值;有正有负则为鞍点。若存在零特征值而其余同号,这一判据不能单独确定类型。鞍点的负特征值对应局部下降方向,但计算大型网络的完整黑塞矩阵及其特征分解代价高。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 深度学习基础 3.1.2 判断临界值种类的方法 · 查看原书依据
这里有一个问题,通过 判断临界点是局部最小值、鞍点,还是局部最大值,需要代入所有的 .但我们不可能把所有的都拿来试试,所以需要有一个更简便的方法来判断 的正负.算出一个黑塞矩阵后,不需要试着把它跟所有的相乘,而只要看的特征值.若的所有特征值都是正的,为正定矩阵,则 ,临界点是局部最小值.若的所有特征值都是负的,为负定矩阵,则 ,临界点是局部最大值.若的特征值有正有负,则临界点是鞍点.
参考来源
- 位置:《深度学习详解》第3章《深度学习基础》3.1.2(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter03.xhtml`)
- 结论依据:原文用二阶泰勒近似与黑塞矩阵特征值解释不同临界点,并讨论计算代价;零特征值情形是该判据未覆盖的边界。
- 原始内容:这里有一个问题,通过 判断临界点是局部最小值、鞍点,还是局部最大值,需要代入所有的 .但我们不可能把所有的都拿来试试,所以需要有一个更简便的方法来判断 的正负.算出一个黑塞矩阵后,不需要试着把它跟所有的相乘,而只要看的特征值.若的所有特征值都是正的,为正定矩阵,则 ,临界点是局部最小值.若的所有特征值都是负的,为负定矩阵,则 ,临界点是局部最大值.若的特征值有正有负,则临界点是鞍点.