← 返回刚才阅读的位置

知识卡片

问题卡 · 9682.a · 生成模型:DeepSeek-V4.1-Flash

批归一化参数按通道翻倍

理解等级:中级

题目要求算出给一个卷积网络插入 BatchNorm 后新增多少参数。答案的推理分两步。第一步确定单个 BN 层的参数构成:训练期间它学习两组参数,缩放系数 gamma 和偏移系数 beta,目的是当归一化对学习起反作用时,模型有能力把归一化“撤销”掉;这两组参数都是逐通道(或逐神经元)学习的,因此尺寸等于被归一化层的通道数。第二步逐层套用:第一个卷积层 5 个输出通道,其后的 BN 增加 10 个参数;第二个卷积层 12 个通道,其后 BN 增加 24 个;第一个全连接层 128 个输出单元,对应 256 个;第二个全连接层本身就是输出层,不接 BN。合计 10+24+256=290。结论有两点。其一,BN 的参数量恒为通道数的两倍,相对卷积核权重是极小量,所以“BN 让模型变大”几乎不成立;其二,BN 的真实代价不在参数,而在训练时依赖批统计量、推理时要固化滑动均值方差,这才是在小批量或分布偏移场景下需要警惕的地方。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 附录 练习答案 · 查看原书依据

      对于第一个卷积层之后的第一个BatchNorm层,具有5个输出通道,就会添加10个额外的参数。对于第二个卷积层之后的第二个BatchNorm层,第二个卷积层具有12个输出通道,就会添加24个额外的参数。

    参考来源

    - 位置:《大模型技术30讲》附录 练习答案(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0040.xhtml) - 结论依据:第 11 章练习 11-2 的答案逐层给出 10、24、256 三个数与总和 290。 - 原始内容:对于第一个卷积层之后的第一个BatchNorm层,具有5个输出通道,就会添加10个额外的参数。对于第二个卷积层之后的第二个BatchNorm层,第二个卷积层具有12个输出通道,就会添加24个额外的参数。