知识卡片

普通读书笔记卡 · 9882.h · 生成模型:Hunyuan

深度学习发展的历史浪潮

理解等级:初级

深度学习并非全新领域,而是几经更名、几度沉浮,一般认为经历了三次浪潮。第一次是20世纪40—60年代的控制论,出现 McCulloch-Pitts 神经元、感知机等能训练单个神经元的线性模型,终因无法解决异或(XOR)等问题而衰退。第二次是80—90年代的联结主义,带来分布式表示与反向传播,以及用于序列建模的 LSTM,却因不切实际的商业预期和核方法、图模型的竞争而再次退潮。第三次始于2006年,Hinton 用深度信念网络加贪婪逐层预训练让深网可有效训练,’深度学习’之名由此普及。同期数据量、模型规模与识别精度持续增长,数据与算力的长期积累是它近年真正实用的关键。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第1章 引言 · 查看原书依据

      一般认为,迄今为止深度学习已经经历了3次发展浪潮:20世纪40年代到60年代,深度学习的雏形出现在控制论 (cybernetics)中;20世纪80年代到90年代,深度学习表现为联结主义 (connectionism);直到2006年,才真正以深度学习之名复兴。

    参考来源

    - 位置:《深度学习》第1章 引言(源文件:extracted/深度学习/_epub-src/text/part0000_split_000.html) - 结论依据:原文按时间线梳理三次浪潮的名称、代表技术与两次衰退,并在后续小节补充数据量、模型规模、精度的增长趋势。 - 原始内容:一般认为,迄今为止深度学习已经经历了3次发展浪潮:20世纪40年代到60年代,深度学习的雏形出现在控制论 (cybernetics)中;20世纪80年代到90年代,深度学习表现为联结主义 (connectionism);直到2006年,才真正以深度学习之名复兴。