← 返回卡片

原书出处

深度学习

08 第8章 深度模型中的优化

核验版本的摘录快照 · 导入于 2026-11-19T07:27:03.630Z

是Hessian矩阵 H 的病态。这是数值优化、凸优化或其他形式的优化中普遍存在的问题,更多细节请回顾第4.3.1节。

病态问题一般被认为存在于神经网络训练过程中。病态体现在随机梯度下降会“卡”在某些情况,此时即使很小的更新步长也会增加代价函数。

回顾式(4.9),代价函数的二阶泰勒级数展开预测梯度下降中的 会增加 到代价中。当 超过 时,梯度的病态会成为问题。判

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深度学习/_epub-src/text/part0003.html

EPUB SHA-256:30b05f447b47f121324499dd200696e34be257d5cd4c4b753541b42f40a94639