知识卡片
深度学习的三次高潮与低谷
深度学习的历史不是线性进步,而是”卡点—突破—再卡点”的三起两落。每一次起伏都围绕同一个问题:能不能有效训练出有表达力的网络。
| 阶段 | 时间 | 关键事件 | 结果 |
|---|---|---|---|
| 起源 | 1943 | 麦卡洛克与皮兹提出 MP 神经元模型 | 神经网络有了数学原型 |
| 第一次高潮 | 1957–1969 | 单层感知机 | 只能线性切割,异或问题无解 |
| 第一次低谷 | 1969 起 | 异或问题打击信心 | 停滞近 20 年 |
| 第二次高潮 | 1986–1998 | MLP + 反向传播、万能逼近定理、LeNet | 非线性可分,深层网络可训练 |
| 第二次低谷 | 1991 起 | 指出 BP 存在梯度消失 | 深层网络训不动 |
| 第三次高潮 | 2006 至今 | 无监督预训练+微调、ReLU、AlexNet、AlphaGo | 深度学习成为主流 |
两点值得注意:
- 低谷期并非没有进展。1997 年 LSTM 就被发明,序列建模特性突出,但因为梯度消失的阴影未散、同期 SVM 与 AdaBoost 等统计学习方法表现更好,没有获得足够重视。
- 转折点是卡点被解开,而不是模型被提出。2006 年 Hinton 用逐层无监督预训练解决初始化;2011 年 ReLU 从激活函数侧抑制梯度消失;再加上 GPU 与大数据,深层网络才真正跑起来。
这条线索也是本章的结构:先讲前向/反向(能训练),再讲激活函数与梯度消失(为什么训不动),最后讲优化算法(怎么训得更好)。
结构图:
flowchart LR
A["1943 MP 神经元"] --> B["1957 感知机"] --> C["1969 异或困境"] --> D["1986 MLP+BP"] --> E["1991 梯度消失"] --> F["2006 预训练"] --> G["2011 ReLU"] --> H["2012 AlexNet"] --> I["2016 AlphaGo"]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第15章 深度神经网络模型 15.1.2 深度学习发展历史 · 查看原书依据
2012年,Hinton课题组首次参加ImageNet图像识别比赛,他们通过构建的CNN网络AlexNet一举夺得冠军,且碾压第二名(SVM方法)的分类性能,证明了深度学习的潜力。
参考来源
- 位置:《机器学习基础:从入门到求职》第15章《第15章 深度神经网络模型》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00018.html)
- 结论依据:原文按三代神经网络叙述 1943 年 MP 模型、1957 感知机、1986 MLP、1991 梯度消失、2006 预训练、2011 ReLU、2012 AlexNet 等节点。
- 原始内容:2012年,Hinton课题组首次参加ImageNet图像识别比赛,他们通过构建的CNN网络AlexNet一举夺得冠军,且碾压第二名(SVM方法)的分类性能,证明了深度学习的潜力。