原书出处
深度学习
08 第8章 深度模型中的优化
J( θ )是当前点 θ 的病态条件,或者 θ 在悬崖中,或者 θ 是一个下降方向不明显的鞍点,那么会很难更新当前步。
如果该方向在局部改进很大,但并没有指向代价低得多的遥远区域,那么我们有可能在单点处克服以上所有困难,但仍然表现不佳。 Goodfellow et al. (2015)认为大部分训练的运行时间取决于到达解决方案的轨迹长度。
如图8.2所示,学习轨迹将花费大量的时间探寻一个围绕山形结构的宽弧。 大多数优化研究的难点集中于训练是否找到了全局最小点
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/深度学习/_epub-src/text/part0003.html
EPUB SHA-256:30b05f447b47f121324499dd200696e34be257d5cd4c4b753541b42f40a94639