知识卡片
局部连接与平铺卷积
局部连接层(非共享卷积)保持与卷积相同的局部连接形状,但每条边各有自己的权重,不跨位置共享,适合特征只出现在特定位置的情形,例如嘴只在图像下半部。平铺卷积是二者的折衷:学习 t 个核,沿空间移动时循环使用,于是近邻位置用不同过滤器(像局部连接),但参数存储只增长 t 倍而非整张特征映射;t=1 即标准卷积,t 等于输出宽度即局部连接。还可限制通道连接,如只让部分输出通道连接部分输入通道,用更少参数和计算换取同样多的隐藏单元。局部连接层与平铺卷积若学到检测同一特征不同变换的过滤器,配合最大池化也能获得相应不变性。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第9章 卷积网络
原书出处 · 1 处
- 第9章 卷积网络 · 查看原书依据
平铺卷积 (tiled convolution)(Gregor and LeCun,2010a;Le et al. ,2010)对卷积层和局部连接层进行了折衷。这里并不是对每一个空间位置的权重集合进行学习,我们学习一组核使得当我们在空间移动时它们可以循环利用。
参考来源
- 位置:《深度学习》第9章 卷积网络(源文件:extracted/深度学习/_epub-src/text/part0003.html)
- 结论依据:原文对比局部连接、平铺卷积、标准卷积的连接与共享方式,并说明通道连接限制与学习不变性的关系。
- 原始内容:平铺卷积 (tiled convolution)(Gregor and LeCun,2010a;Le et al. ,2010)对卷积层和局部连接层进行了折衷。这里并不是对每一个空间位置的权重集合进行学习,我们学习一组核使得当我们在空间移动时它们可以循环利用。