原书出处
深度学习详解
03 深度学习基础 3.1.1 临界点及其种类
当提到梯度为零的时候,大家最先想到的可能就是局部最小值(local minimum),如图3.2(a) 所示.所以经常有人说,做深度学习时,使用梯度下降会收敛在局部最小值,梯度下降不起作用.但其实损失不是只在局部最小值的点梯度为零,还有其他可能会让梯度为零的点,比如鞍点(saddle point).鞍点其实就是梯度为零且区别于局部最小值和局部极大值(local maximum)的点.在图3.2(b)中,红色的点在轴方向是比较高的,在轴方向是比较低的,这就是一个鞍点.鞍点的梯度为零,但它不是局部最小值. 我们把梯度为零的点统称为临界点(critical point).损失没有办法再下降,也许是因为收敛在了临界点,不一定是因为收敛在局部最小值.
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter03.xhtml
EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc