知识卡片

普通读书笔记卡 · 9790.a · 生成模型:DeepSeek-V4.1-Flash

深层网络的三个训练障碍

理解等级:高级

浅层网络有三处硬伤。一是权重随机初始化,目标函数非凸,很容易收敛到局部最优,拟合太紧就过拟合。二是加深层数后梯度逐层连乘,传到前面的梯度越来越稀疏,收敛极慢。三是只用了带标注的数据,海量未标注文本没有参与。

早期的应对是贪婪逐层:先无监督地单独训练一层,把它的输出当作下一层的输入,一层层往上堆,最后用有监督信号自顶向下微调。由此形成两套框架:一套是无监督逐层学特征,再把特征交给传统监督模型;另一套是整网逐层预训练,最上层接 softmax 分类器,整体当一个深层网络训练。所以深度学习与神经网络的差别不只在层数,还在训练算法、训练技巧和数据规模;作者甚至认为海量数据的作用更大,而这也解释了为什么它要依赖 GPU。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 让机器可以像人一样学习(下) · 查看原书依据

      这些浅层网络有很多缺点:初始值的选取是随机的,很容易收敛到局部最优解,导致过拟合;如果增加隐藏层的话,就会使传递到前面的梯度越来越稀疏,收敛速度很慢;它没有利用海量的未标注数据,所以很难有大的突破。

    参考来源

    - 位置:《文本上的算法——深入浅出自然语言处理》第3章 让机器可以像人一样学习(下)(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00009.html) - 结论依据:原文这一段直接给出本卡的核心判断:「这些浅层网络有很多缺点:初始值的选取是随机的,很容易收敛到局部最优解,导致过拟合……」 - 原始内容:这些浅层网络有很多缺点:初始值的选取是随机的,很容易收敛到局部最优解,导致过拟合;如果增加隐藏层的话,就会使传递到前面的梯度越来越稀疏,收敛速度很慢;它没有利用海量的未标注数据,所以很难有大的突破。