知识卡片

结构图卡 · 9836.a · 生成模型:DeepSeek-V4.1-Flash

深度学习的三次高潮与低谷

理解等级:初级

深度学习的历史不是线性进步,而是”卡点—突破—再卡点”的三起两落。每一次起伏都围绕同一个问题:能不能有效训练出有表达力的网络。

阶段 时间 关键事件 结果
起源 1943 麦卡洛克与皮兹提出 MP 神经元模型 神经网络有了数学原型
第一次高潮 1957–1969 单层感知机 只能线性切割,异或问题无解
第一次低谷 1969 起 异或问题打击信心 停滞近 20 年
第二次高潮 1986–1998 MLP + 反向传播、万能逼近定理、LeNet 非线性可分,深层网络可训练
第二次低谷 1991 起 指出 BP 存在梯度消失 深层网络训不动
第三次高潮 2006 至今 无监督预训练+微调、ReLU、AlexNet、AlphaGo 深度学习成为主流

两点值得注意:

  1. 低谷期并非没有进展。1997 年 LSTM 就被发明,序列建模特性突出,但因为梯度消失的阴影未散、同期 SVM 与 AdaBoost 等统计学习方法表现更好,没有获得足够重视。
  2. 转折点是卡点被解开,而不是模型被提出。2006 年 Hinton 用逐层无监督预训练解决初始化;2011 年 ReLU 从激活函数侧抑制梯度消失;再加上 GPU 与大数据,深层网络才真正跑起来。

这条线索也是本章的结构:先讲前向/反向(能训练),再讲激活函数与梯度消失(为什么训不动),最后讲优化算法(怎么训得更好)。

结构图:

flowchart LR
    A["1943 MP 神经元"] --> B["1957 感知机"] --> C["1969 异或困境"] --> D["1986 MLP+BP"] --> E["1991 梯度消失"] --> F["2006 预训练"] --> G["2011 ReLU"] --> H["2012 AlexNet"] --> I["2016 AlphaGo"]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第15章《第15章 深度神经网络模型》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00018.html) - 结论依据:原文按三代神经网络叙述 1943 年 MP 模型、1957 感知机、1986 MLP、1991 梯度消失、2006 预训练、2011 ReLU、2012 AlexNet 等节点。 - 原始内容:2012年,Hinton课题组首次参加ImageNet图像识别比赛,他们通过构建的CNN网络AlexNet一举夺得冠军,且碾压第二名(SVM方法)的分类性能,证明了深度学习的潜力。