← 返回卡片

原书出处

深度学习详解

03 深度学习基础 3.1.1 临界点及其种类

核验版本的摘录快照 · 导入于 2026-11-21T12:46:32.556Z

当提到梯度为零的时候,大家最先想到的可能就是局部最小值(local minimum),如图3.2(a) 所示.所以经常有人说,做深度学习时,使用梯度下降会收敛在局部最小值,梯度下降不起作用.但其实损失不是只在局部最小值的点梯度为零,还有其他可能会让梯度为零的点,比如鞍点(saddle point).鞍点其实就是梯度为零且区别于局部最小值和局部极大值(local maximum)的点.在图3.2(b)中,红色的点在轴方向是比较高的,在轴方向是比较低的,这就是一个鞍点.鞍点的梯度为零,但它不是局部最小值. 我们把梯度为零的点统称为临界点(critical point).损失没有办法再下降,也许是因为收敛在了临界点,不一定是因为收敛在局部最小值.

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter03.xhtml

EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc