← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9555.f · 生成模型:DeepSeek-V4.1-Flash

权重剪枝把小的置零

理解等级:中级

权重剪枝按“重要性”删连接,最常用的判据是权重的绝对值:L1 范数越小,认为对输出的贡献越小。实现上用一个掩码把选中的权重置零,网络结构不变,只是部分连接断开。书中示例对三层全连接网络每层按 50% 剪枝,amount=0.5 表示每层一半权重归零,参数量从 101770 降到 50918。

这里有一个容易被忽略的反差:参数量减半,推理时间只从 0.0235s 降到 0.0198s,快了约 16%。原因是零值仍以稠密矩阵的形式参与计算,除非运行时或硬件真正利用稀疏性,否则“置零”省下的是存储与理论算力,不是实际时间。所以非结构化剪枝的主要价值在于压缩体积、提供稀疏基础,要拿到速度收益还需要稀疏算子或后续的结构化处理。

判据可以换(L1、L2 或随机),书中嵌入式案例就用了随机剪枝。剪枝比例、评价指标与后续微调构成一个闭环,见 [[剪枝是训练评调闭环]];若目标是直接降低计算量,应看 [[结构化剪枝整通道删除]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 模型蒸馏与剪枝 · 查看原书依据

      (3)权重剪枝:prune_weights函数使用torch.nn.utils.prune模块中的l1_unstructured方法,对每个线性层的权重按amount参数剪枝(设为0.5表示剪枝50%)。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第10章《模型蒸馏与剪枝》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter014_0003.xhtml) - 结论依据:原文说明权重剪枝用 l1_unstructured 按 amount=0.5 对每个线性层剪枝,并给出剪枝前后参数量 101770→50918、推理时间 0.0235s→0.0198s 的对照。 - 原始内容:(3)权重剪枝:prune_weights函数使用torch.nn.utils.prune模块中的l1_unstructured方法,对每个线性层的权重按amount参数剪枝(设为0.5表示剪枝50%)。