知识卡片
联结主义与规模红利
联结主义的核心主张是:单个神经元或特征本身并不智能,但数量足够多的单元协同作用就能涌现出智能行为。本章强调“数量很大”不是修饰语而是前提,因为过去三十年网络规模的指数增长被作者视为精度提升和任务复杂度上升的关键原因。由此推出一个工程结论:深度学习天然依赖高性能硬件与软件实现,规模受限会直接转化为精度受限。即便今天的神经网络已很大,作者仍提醒其规模大致只相当于昆虫神经系统,说明这种扩张远未结束。这一视角也解释了本章为何先讨论实现技术、再逐领域讨论特化应用。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第12章 应用
原书出处 · 1 处
- 第12章 应用 · 查看原书依据
我们必须着重强调神经元数量必须很大这个事实。相比20世纪80年代,如今神经网络的精度以及处理任务的复杂度都有一定提升,其中一个关键的因素就是网络规模的巨大提升。
参考来源
- 位置:《深度学习》第12章 应用(源文件:extracted/深度学习/_epub-src/text/part0004.html)
- 结论依据:原文在12.1开篇明确提出联结主义思想并强调神经元数量必须很大,还指出网络规模30年指数增长与昆虫神经系统的对比。
- 原始内容:我们必须着重强调神经元数量必须很大这个事实。相比20世纪80年代,如今神经网络的精度以及处理任务的复杂度都有一定提升,其中一个关键的因素就是网络规模的巨大提升。