← 返回卡片

原书出处

深度学习

08 第8章 深度模型中的优化

核验版本的摘录快照 · 导入于 2026-11-19T07:27:03.630Z

J( θ )是当前点 θ 的病态条件,或者 θ 在悬崖中,或者 θ 是一个下降方向不明显的鞍点,那么会很难更新当前步。

如果该方向在局部改进很大,但并没有指向代价低得多的遥远区域,那么我们有可能在单点处克服以上所有困难,但仍然表现不佳。 Goodfellow et al. (2015)认为大部分训练的运行时间取决于到达解决方案的轨迹长度。

如图8.2所示,学习轨迹将花费大量的时间探寻一个围绕山形结构的宽弧。 大多数优化研究的难点集中于训练是否找到了全局最小点

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深度学习/_epub-src/text/part0003.html

EPUB SHA-256:30b05f447b47f121324499dd200696e34be257d5cd4c4b753541b42f40a94639