知识卡片
剪枝比例换精度体积
剪枝力度不是越大越好,它本质是一个兑换率:用精度换体积与速度。书中的实测序列给出了一条参考曲线——原始模型 98.23%,权重剪枝后 97.45%,再叠加结构化剪枝后 96.83%,体积降到 0.87MB,推理时间 1.02s。
两级剪枝各损失不到 1 个百分点,说明这个网络里确实存在可删的冗余;但损失是累积的,而且兑换率不是线性的:小幅剪枝时精度几乎不动,超过某个比例后会突然崩塌,因为这个比例取决于该层真实的信息密度,而不是全局平均值。因此比例应当逐层设定,而不是给整个模型一个统一数字,并且每剪一级都要重新评估。
判断标准应由部署需求反推:如果设备只要求 95% 以上,可以比“必须保持 97%”时剪得更狠;反过来,若精度是硬约束,就应留出余量并在剪后微调补回。剪枝比例与评估、微调构成一个闭环,见 [[剪枝是训练评调闭环]];不同粒度的选择见 [[结构化剪枝整通道删除]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 模型蒸馏与剪枝 · 查看原书依据
剪枝后的模型保持了较高的精度,并且显著降低了模型大小(从完整模型的几兆字节降低到剪枝后的0.87MB),推理时间也有所减少。这种剪枝技术非常适合用于内存和计算资源受限的嵌入式设备,使其能够在设备上以更低的功耗、更快的速度进行推理,提升了模型的运行效率。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第10章《模型蒸馏与剪枝》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter014_0003.xhtml)
- 结论依据:原文给出剪枝后模型“保持较高精度”、模型大小从几兆字节降到 0.87MB、推理时间减少的结论,并附 98.23%→97.45%→96.83% 的精度变化。
- 原始内容:剪枝后的模型保持了较高的精度,并且显著降低了模型大小(从完整模型的几兆字节降低到剪枝后的0.87MB),推理时间也有所减少。这种剪枝技术非常适合用于内存和计算资源受限的嵌入式设备,使其能够在设备上以更低的功耗、更快的速度进行推理,提升了模型的运行效率。