知识卡片
卷积核与输入同尺寸的等价
当卷积核的高宽与输入特征图相同、步长为 1 且不填充时,滑动窗口只能覆盖一次,卷积退化为“整幅输入与一个核逐元素相乘再求和,再加偏置”,这与全连接层的点积在数学上是同一件事:输出通道数对应输出单元数,输入通道数乘核面积对应输入单元数,一个输出通道就是一套权重。
用途:理解两种层的本质同一性,从而用卷积算子实现全连接计算,走针对卷积优化过的加速器;也据此可写出完全不含全连接层的 CNN。
代价:参数量与等价的全连接层完全相同(核覆盖全图时 k×k×C_in 就是 in),并没有拿到权值共享带来的参数削减;换到的只是算子与硬件路径统一,在普通 CPU 上通常没有性能收益。
边界:步长大于 1、加入填充、或核小于输入,窗口就开始滑动、权重被复用,等价立即失效——这一点对应书中的练习 12-1 与 12-2。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第12章 全连接层和卷积层 · 查看原书依据
确切地说,在两种情形下全连接层与卷积层是等效的:一是当卷积滤波器与感受野的大小相等时;二是当卷积滤波器的大小为1时。
参考来源
- 位置:《大模型技术30讲》第12讲 全连接层和卷积层(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0017.xhtml)
- 结论依据:第12章 12.1 当卷积核与输入大小相同时
- 原始内容:确切地说,在两种情形下全连接层与卷积层是等效的:一是当卷积滤波器与感受野的大小相等时;二是当卷积滤波器的大小为1时。