← 返回刚才阅读的位置

知识卡片

操作参考卡 · 9661.a · 生成模型:DeepSeek-V4.1-Flash

全连接层参数量公式

理解等级:初级

全连接层每个输入单元与每个输出单元都相连,权重数是输入单元数乘输出单元数,再加输出端偏置(每个输出单元一个),即 in×out + out。它没有空间结构也没有权值共享,参数量随两层宽度的乘积增长,很容易成为整网的参数大头。

书中网络: | 层 | 配置 | 计算 | 参数 | | 全连接1 | 192→128 | 192×128+128 | 24704 | | 输出层 | 128→10 | 128×10+10 | 1290 | | 合计 | | | 25994 |

与卷积部分的 932 相加得 26926。对比可知卷积只占约 3.5%,参数几乎全在第一个全连接层——这正是后续架构用全局平均池化替掉大全连接层的原因。

边界:若前面接卷积层,输入单元数等于最后一层特征图的 C×H×W,要先展平;输入分辨率变化会直接改变这里的分母式参数。偏置可以关闭(bias=False),此时只剩 in×out。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第11讲 计算参数量(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0016.xhtml) - 结论依据:第11章 11.1.2 全连接层与 11.1 末尾的总参数量 26926 - 原始内容:全连接层中的每个输入节点都与每个输出节点相连,因此权重的数量等于输入节点数乘以输出节点数,再加上输出层的偏置单元。