知识卡片

普通读书笔记卡 · 9889.n · 生成模型:Hunyuan

预训练与易优化模型设计

理解等级:中级

当直接训练目标模型太难时,可先训练简单模型求解简化问题再迁移,即预训练。贪心监督预训练逐层添加隐藏层、每层作为浅层监督模型单独训练,再用贪心解初始化联合精调,常能加速收敛并提升解的质量;迁移学习、FitNets 的教师—学生中间层提示也属于此类。与之互补的另一条思路是:改进优化未必靠改算法,设计易于优化的模型往往更有效——现代网络大量采用线性变换、几乎处处可导且梯度明显的激活如 ReLU、maxout、LSTM,使梯度能流过很多层,局部梯度合理对应通向远处解的方向。层间线性路径、跳跃连接、辅助头等设计缩短梯度路径、缓解梯度消失,为低层提供误差信号。延拓法和课程学习则通过由易到难的目标序列,把参数初始化到局部下降能直达解的区域。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第8章 深度模型中的优化 · 查看原书依据

      原则上,我们可以使用呈锯齿非单调模式上上下下的激活函数,但是,这将使优化极为困难。在实践中,选择一族容易优化的模型比使用一个强大的优化算法更重要。

    参考来源

    - 位置:《深度学习》第8章 深度模型中的优化(源文件:extracted/深度学习/_epub-src/text/part0003.html) - 结论依据:原文强调改进优化的最好方法并不总是改进算法,深度模型中许多优化改进来自设计易于优化的模型,选择容易优化的模型族比使用强大优化算法更重要。 - 原始内容:原则上,我们可以使用呈锯齿非单调模式上上下下的激活函数,但是,这将使优化极为困难。在实践中,选择一族容易优化的模型比使用一个强大的优化算法更重要。