知识卡片
深度学习复兴的三个条件
CNN 并非新概念:1989 年 LeCun 就提出多层 ConvNet 并用反向传播做监督训练,奠定了二维卷积网络的基础。但 20 世纪 90 年代末到 21 世纪初,深层网络结构复杂、训练耗时,性能提升与算力投入不成比例,研究者普遍认为它难以解决复杂问题,研究随之沉寂。
复苏依赖三个条件同时具备:
- 训练方法:2006 年 Hinton 提出贪婪逐层预训练,缓解了深层网络难以训练的问题。
- 算力:GPU 被用于加速卷积训练,把时间密集型训练压缩到可接受范围。
- 数据:2010 年 ImageNet 建成,数百万带标签图像为训练提供样本,使加深网络不至于立刻过拟合。
此后 AlexNet 以更深的层级加随机失活赢得 2012 年 ILSVRC;VGG 用小卷积核在参数更少的前提下把深度增至 16 层,收敛更快;GoogleNet 同时扩展宽度并降低计算成本,性能更好但结构复杂、复用性不如 VGG。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第1章 概述
原书出处 · 1 处
- 第1章 概述 · 查看原书依据
直到2006年Hinton针对深度架构提出了贪婪逐层预训练方法,同时,研究者开始使用图形处理单元(Graphics Processing Unit,GPU)加速深度CNN体系结构的训练,为CNN训练过程耗时量大的问题提供了解决方案
参考来源
- 位置:《基于类脑计算的目标检测与跟踪技术》第1章 概述(源文件:extracted/基于类脑计算的目标检测与跟踪技术/_epub-src/OPS/txt001.html)
- 结论依据:CNN 并非新概念:1989 年 LeCun 就提出多层 ConvNet 并用反向传播做监督训练,奠定了二维卷积网络的基础。
- 原始内容:直到2006年Hinton针对深度架构提出了贪婪逐层预训练方法,同时,研究者开始使用图形处理单元(Graphics Processing Unit,GPU)加速深度CNN体系结构的训练,为CNN训练过程耗时量大的问题提供了解决方案