← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9555.g · 生成模型:DeepSeek-V4.1-Flash

结构化剪枝整通道删除

理解等级:中级

结构化剪枝以“结构单元”为单位删除,而不是单个权重:卷积层删通道或卷积核,全连接层删神经元,Transformer 中删注意力头或整个层。实现上先按某个范数给每个结构单元打分,再删掉分数最低的一批,输出张量的形状随之变小。书中对两个卷积层各剪 20% 通道,用 L2 范数(n=2)沿通道维(dim=0)排序,输出显示 conv1 与 conv2 的稀疏率均为 20%。

它能真正加速的原因在形状:通道被删后,后续层的输入通道数减少,计算图本身变小,不需要任何稀疏算子支持;而权重剪枝只是把数值变成 0,矩阵尺寸没变,计算量也就没变。

代价在粒度:一次删掉整条通道,误删的代价比误删单个权重高得多,同比例下精度下降更明显,因此比例要偏保守并逐层设定。结构化剪枝通常需要重新训练或微调来恢复精度,因为删除改变了各层输出的分布。它与 [[权重剪枝把小的置零]] 是同一目标下的两种粒度选择。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 模型蒸馏与剪枝 · 查看原书依据

      结构化剪枝是一种更复杂的模型优化方法,它在优化过程中不是剪掉个别权重,而是剪掉整个神经网络的结构,例如移除不重要的神经元、卷积核或者通道。这一方法适用于卷积神经网络(CNNs)等大型模型,目的是在保留模型性能的前提下简化网络结构。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第10章《模型蒸馏与剪枝》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter014_0003.xhtml) - 结论依据:原文定义结构化剪枝为移除神经元、卷积核或通道,并说明示例用 ln_structured、L2 范数与通道维剪枝,输出 conv1、conv2 稀疏率各 20%。 - 原始内容:结构化剪枝是一种更复杂的模型优化方法,它在优化过程中不是剪掉个别权重,而是剪掉整个神经网络的结构,例如移除不重要的神经元、卷积核或者通道。这一方法适用于卷积神经网络(CNNs)等大型模型,目的是在保留模型性能的前提下简化网络结构。