知识卡片
全连接层参数量公式
全连接层每个输入单元与每个输出单元都相连,权重数是输入单元数乘输出单元数,再加输出端偏置(每个输出单元一个),即 in×out + out。它没有空间结构也没有权值共享,参数量随两层宽度的乘积增长,很容易成为整网的参数大头。
书中网络: | 层 | 配置 | 计算 | 参数 | | 全连接1 | 192→128 | 192×128+128 | 24704 | | 输出层 | 128→10 | 128×10+10 | 1290 | | 合计 | | | 25994 |
与卷积部分的 932 相加得 26926。对比可知卷积只占约 3.5%,参数几乎全在第一个全连接层——这正是后续架构用全局平均池化替掉大全连接层的原因。
边界:若前面接卷积层,输入单元数等于最后一层特征图的 C×H×W,要先展平;输入分辨率变化会直接改变这里的分母式参数。偏置可以关闭(bias=False),此时只剩 in×out。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第11章 计算参数量 · 查看原书依据
全连接层中的每个输入节点都与每个输出节点相连,因此权重的数量等于输入节点数乘以输出节点数,再加上输出层的偏置单元。
参考来源
- 位置:《大模型技术30讲》第11讲 计算参数量(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0016.xhtml)
- 结论依据:第11章 11.1.2 全连接层与 11.1 末尾的总参数量 26926
- 原始内容:全连接层中的每个输入节点都与每个输出节点相连,因此权重的数量等于输入节点数乘以输出节点数,再加上输出层的偏置单元。