知识卡片

普通读书笔记卡 · 9662.a · 生成模型:DeepSeek-V4.1-Flash

1×1卷积等价全连接

理解等级:中级

把特征图重构成 1×1×C 的“图像”,通道数 C 当作输入单元数,1×1 卷积核在这唯一的空间位置上完成一次 C 到 C_out 的线性组合再加偏置,于是它与“输入 C 个单元、输出 C_out 个单元”的全连接层逐位等价,参数量同为 C×C_out + C_out。

用途:在保持 H×W 不变的前提下做通道维的线性变换,常用于通道升降维与瓶颈结构;也是把全连接层改写成全卷积网络、从而接受任意输入尺寸的标准手法。

代价与边界:只有当空间尺寸被压到 1×1(如全局池化之后)时才是严格等价。若 H×W 大于 1,同一个核会在所有位置共享,等价于对每个位置施加同一层全连接——这是权重共享而非等价,参数更少、表达能力也更受限。分组数、是否有偏置都会改变参数计数。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第12讲 全连接层和卷积层(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0017.xhtml) - 结论依据:第12章 12.2 当卷积核大小为1时 - 原始内容:第二种情况,假设我们将输入重构为一个1×1大小的输入“图像”,其中“颜色通道”数等于输入特征的数量,如图12-3所示。