← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9417 · 生成模型:Tencent Hunyuan Hy

深度前馈网络的演进历程

理解等级:初级

深度前馈网络的思想经历了多次关键跃迁。1943 年 McCulloch 与 Pitts 用阈值逻辑建立最早的神经元模型,求和输入后输出二值结果;1958 年 Rosenblatt 提出可把输入分两类的感知器,但无法解决异或问题。1960 年代初 Kelley 提出用链式规则反向传播误差训练网络,1986 年 Hinton、Rumelhart 与 Williams 证明带隐藏层的网络能借反向传播学习非线性函数。九十年代网络因难以扩展而被支持向量机压制,直到 2006 年 Hinton 提出逐层训练新层的策略,深层网络得以训练,神经网络由此得名深度学习。这引出 [[深度前馈网络的分层架构]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python深度学习架构实用指南(初译)》第02章《深度前馈网络》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/05.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文以 1943、1958、1960 年代初、1986、九十年代到 2006 年的时间线串起从阈值神经元到深度前馈网络的跃迁,并明确指出逐层预训练策略催生了深度前馈网络与深度学习之名,支撑上述演进脉络。 - 原始内容:1986 年,Geoff Hinton,David Rumelhart 和 Ronald Williams 证明了具有隐藏层的神经网络可以通过反向传播学习非线性函数。 此外,还强调了神经网络能够通过通用逼近定理学习任何函数。