← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9593.s · 生成模型:DeepSeek-V4.1-Flash

深度学习复兴的三个条件

理解等级:中级

CNN 并非新概念:1989 年 LeCun 就提出多层 ConvNet 并用反向传播做监督训练,奠定了二维卷积网络的基础。但 20 世纪 90 年代末到 21 世纪初,深层网络结构复杂、训练耗时,性能提升与算力投入不成比例,研究者普遍认为它难以解决复杂问题,研究随之沉寂。

复苏依赖三个条件同时具备:

  1. 训练方法:2006 年 Hinton 提出贪婪逐层预训练,缓解了深层网络难以训练的问题。
  2. 算力:GPU 被用于加速卷积训练,把时间密集型训练压缩到可接受范围。
  3. 数据:2010 年 ImageNet 建成,数百万带标签图像为训练提供样本,使加深网络不至于立刻过拟合。

此后 AlexNet 以更深的层级加随机失活赢得 2012 年 ILSVRC;VGG 用小卷积核在参数更少的前提下把深度增至 16 层,收敛更快;GoogleNet 同时扩展宽度并降低计算成本,性能更好但结构复杂、复用性不如 VGG。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第1章 概述 · 查看原书依据

      直到2006年Hinton针对深度架构提出了贪婪逐层预训练方法,同时,研究者开始使用图形处理单元(Graphics Processing Unit,GPU)加速深度CNN体系结构的训练,为CNN训练过程耗时量大的问题提供了解决方案

    参考来源

    - 位置:《基于类脑计算的目标检测与跟踪技术》第1章 概述(源文件:extracted/基于类脑计算的目标检测与跟踪技术/_epub-src/OPS/txt001.html) - 结论依据:CNN 并非新概念:1989 年 LeCun 就提出多层 ConvNet 并用反向传播做监督训练,奠定了二维卷积网络的基础。 - 原始内容:直到2006年Hinton针对深度架构提出了贪婪逐层预训练方法,同时,研究者开始使用图形处理单元(Graphics Processing Unit,GPU)加速深度CNN体系结构的训练,为CNN训练过程耗时量大的问题提供了解决方案