← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9889.g · 生成模型:Hunyuan

局部与全局结构的弱对应

理解等级:高级

前面讨论的多是单点处的局部性质,但即便在每一点都能算出正确的下降方向,优化仍可能表现很差:局部改进很大的方向未必指向代价低得多的遥远区域。实践中神经网络通常不会到达任何临界点,训练时间主要取决于轨迹长度——学习可能要绕着高山走很长的弧线。有些目标函数甚至没有全局最小,只是渐近收敛;负对数似然可以无限接近零却不为零。因此在局部信息无法提供有效路径时,更现实的做法是寻找好的初始点,让学习从局部下降能直达解的区域开始,而不是设计非局部更新的算法。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第8章 深度模型中的优化 · 查看原书依据

      如果该方向在局部改进很大,但并没有指向代价低得多的遥远区域,那么我们有可能在单点处克服以上所有困难,但仍然表现不佳。 Goodfellow et al. (2015)认为大部分训练的运行时间取决于到达解决方案的轨迹长度。

    参考来源

    - 位置:《深度学习》第8章 深度模型中的优化(源文件:extracted/深度学习/_epub-src/text/part0003.html) - 结论依据:原文指出局部方向改进很大却不指向低代价区域时优化仍会失败,并认为大部分训练时间取决于到达解决方案的轨迹长度。 - 原始内容:如果该方向在局部改进很大,但并没有指向代价低得多的遥远区域,那么我们有可能在单点处克服以上所有困难,但仍然表现不佳。 Goodfellow et al. (2015)认为大部分训练的运行时间取决于到达解决方案的轨迹长度。