知识卡片
局部与全局结构的弱对应
前面讨论的多是单点处的局部性质,但即便在每一点都能算出正确的下降方向,优化仍可能表现很差:局部改进很大的方向未必指向代价低得多的遥远区域。实践中神经网络通常不会到达任何临界点,训练时间主要取决于轨迹长度——学习可能要绕着高山走很长的弧线。有些目标函数甚至没有全局最小,只是渐近收敛;负对数似然可以无限接近零却不为零。因此在局部信息无法提供有效路径时,更现实的做法是寻找好的初始点,让学习从局部下降能直达解的区域开始,而不是设计非局部更新的算法。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 深度模型中的优化 · 查看原书依据
如果该方向在局部改进很大,但并没有指向代价低得多的遥远区域,那么我们有可能在单点处克服以上所有困难,但仍然表现不佳。 Goodfellow et al. (2015)认为大部分训练的运行时间取决于到达解决方案的轨迹长度。
参考来源
- 位置:《深度学习》第8章 深度模型中的优化(源文件:extracted/深度学习/_epub-src/text/part0003.html)
- 结论依据:原文指出局部方向改进很大却不指向低代价区域时优化仍会失败,并认为大部分训练时间取决于到达解决方案的轨迹长度。
- 原始内容:如果该方向在局部改进很大,但并没有指向代价低得多的遥远区域,那么我们有可能在单点处克服以上所有困难,但仍然表现不佳。 Goodfellow et al. (2015)认为大部分训练的运行时间取决于到达解决方案的轨迹长度。