知识卡片
Sequential 把层序列折成一层
Sequential 持有一个层的列表,自己也是 Layer:forward 按顺序把输入喂下去,backward 按相反顺序回传梯度,params 和 grads 用生成器把各层结果串成一条。于是多层网络与单层在使用上没有区别,训练循环只要接收一个 Layer 就够。它真正的价值在实验便利:MNIST 上先用单个 Linear(784,10) 配 softmax 交叉熵当逻辑回归基线,再用 Linear+Dropout+Tanh 堆两层、配同一个 loop,准确率从约 89% 升到 92% 以上,其余代码一行未改。边界是表达力:层序列只能描述链式结构,分支、残差、多输入这些拓扑需要新的容器层,这也是真实框架里要引入更复杂模块的原因。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第19章 深度学习 · 查看原书依据
我们想将神经网络视为层序列,因此要想出一种将多层融合为一层的方法。最终的神经网络本身就是一个层,并且以清晰明了的方式实现 Layer 方法
参考来源
- 位置:《数据科学入门(第2版)》第19章 深度学习(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0023.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「我们想将神经网络视为层序列,因此要想出一种将多层融合为一层的方法……」
- 原始内容:我们想将神经网络视为层序列,因此要想出一种将多层融合为一层的方法。最终的神经网络本身就是一个层,并且以清晰明了的方式实现 Layer 方法