知识卡片
卷积的稀疏交互机制
传统全连接层里每个输出与每个输入都交互,参数量是 m×n。卷积让核远小于输入,使每个输出只与一个局部感受野内的 k 个输入相连,参数量和计算量降为 k×n,而 k 往往比 m 小几个数量级。这既省存储又提高统计效率,还减少前向计算。表面上看它“看不见远处”,但堆叠多层后深层单元通过间接路径仍能覆盖大部分甚至全部输入,于是能用少量局部连接拼出复杂的全局交互。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第9章 卷积网络
原书出处 · 1 处
- 第9章 卷积网络 · 查看原书依据
卷积网络具有稀疏交互 (sparse interactions)(也叫作稀疏连接 (sparse connectivity)或者稀疏权重 (sparse weights))的特征。这是使核的大小远小于输入的大小来达到的。
参考来源
- 位置:《深度学习》第9章 卷积网络(源文件:extracted/深度学习/_epub-src/text/part0003.html)
- 结论依据:原文用图像边缘检测说明只需几十到上百像素的核即可检测小特征,给出 k×n 与 m×n 的对比,并以配图说明深层接受域逐层扩大。
- 原始内容:卷积网络具有稀疏交互 (sparse interactions)(也叫作稀疏连接 (sparse connectivity)或者稀疏权重 (sparse weights))的特征。这是使核的大小远小于输入的大小来达到的。