← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9555.j · 生成模型:DeepSeek-V4.1-Flash

BERT 剪注意力头与层

理解等级:高级

Transformer 的结构单元是注意力头与层,因此它的结构化剪枝也落在这两级:注意力头剪枝删掉对任务贡献小的头,减少注意力计算;层剪枝直接删掉整个 Transformer 层,减少模型深度。两者常配合使用,按“先头后层”的顺序逐级压缩。

书中示例先在文本分类上微调 BERT 得到 92.45% 的基准,再剪掉第 3 层的部分注意力头、删掉第 11 层,精度降到 91.60%,模型体积 304.87MB,推理 8.24s。这个结果说明 BERT 内部确实存在冗余的头与层,删掉后精度损失不到 1 个百分点。

操作上有两个要点。其一是重要性必须逐层分析,不能按顺序从头删到尾——书中强调“通过分析逐层移除不重要的 Transformer 层”,而不是简单砍掉最后几层。其二是层的影响大于单个头:深度直接决定表示能力,删一层的风险远高于删几个头,因此层剪枝的比例通常更保守,剪后需要重新微调以恢复精度。这类剪枝适合低延迟的 NLP 部署,如实时翻译或文本分类。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 模型蒸馏与剪枝 · 查看原书依据

      一个更前沿的模型剪枝案例可以应用在Transformer模型的优化上,尤其是在BERT等大规模预训练语言模型中。因为Transformer结构复杂且包含大量的注意力头和权重参数,剪枝技术可以有效减少模型大小,提高推理速度。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第10章《模型蒸馏与剪枝》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter014_0003.xhtml) - 结论依据:原文指出 BERT 类模型的剪枝“通常结合了层剪枝和注意力头剪枝”,并给出剪头、剪层后精度 92.45%→91.60%、体积 304.87MB、推理 8.24s 的结果。 - 原始内容:一个更前沿的模型剪枝案例可以应用在Transformer模型的优化上,尤其是在BERT等大规模预训练语言模型中。因为Transformer结构复杂且包含大量的注意力头和权重参数,剪枝技术可以有效减少模型大小,提高推理速度。