知识卡片
深度前馈网络的演进历程
深度前馈网络的思想经历了多次关键跃迁。1943 年 McCulloch 与 Pitts 用阈值逻辑建立最早的神经元模型,求和输入后输出二值结果;1958 年 Rosenblatt 提出可把输入分两类的感知器,但无法解决异或问题。1960 年代初 Kelley 提出用链式规则反向传播误差训练网络,1986 年 Hinton、Rumelhart 与 Williams 证明带隐藏层的网络能借反向传播学习非线性函数。九十年代网络因难以扩展而被支持向量机压制,直到 2006 年 Hinton 提出逐层训练新层的策略,深层网络得以训练,神经网络由此得名深度学习。这引出 [[深度前馈网络的分层架构]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 深度前馈网络 演进之路与 DFN 架构 · 查看原书依据
1986 年,Geoff Hinton,David Rumelhart 和 Ronald Williams 证明了具有隐藏层的神经网络可以通过反向传播学习非线性函数。 此外,还强调了神经网络能够通过通用逼近定理学习任何函数。
参考来源
- 位置:《Python深度学习架构实用指南(初译)》第02章《深度前馈网络》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/05.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文以 1943、1958、1960 年代初、1986、九十年代到 2006 年的时间线串起从阈值神经元到深度前馈网络的跃迁,并明确指出逐层预训练策略催生了深度前馈网络与深度学习之名,支撑上述演进脉络。
- 原始内容:1986 年,Geoff Hinton,David Rumelhart 和 Ronald Williams 证明了具有隐藏层的神经网络可以通过反向传播学习非线性函数。 此外,还强调了神经网络能够通过通用逼近定理学习任何函数。