知识卡片
剪枝是训练评调闭环
剪枝不是一次性操作,而是一个“训练—剪—评—调”的闭环。先训练一个达标的基础模型作为起点;再选定要剪的层与每层比例;施加剪枝,用掩码标记要移除的结构;在验证集上评估精度与推理速度;若精度下降超出可接受范围,就微调恢复,然后回到评估;达标后测量模型体积与延迟,部署到目标设备。
顺序里有两点容易做错。其一是评估必须同时看精度和速度:只剪不看速度,可能剪了个不加速的位置;只看速度不看精度,得到的模型无法上线。其二是微调不是可选项,剪枝打破了原有的参数平衡,剩下的权重并未针对新结构优化过,用少量数据回炉通常能把损失补回一部分。
书中嵌入式部署案例按此流程执行:基础模型 98.23%,权重剪枝后 97.45%,再结构化剪枝后 96.83%,体积降到 0.87MB,推理 1.02s,仍满足手写数字识别的可用要求。两级剪枝各损失不到 1 个百分点,说明冗余确实存在,但下降是累积的。
结构图:
graph LR
A[训练基础模型] --> B[选层与剪枝比例]
B --> C[施加剪枝]
C --> D[验证集评估]
D --> E{精度可接受}
E -->|否| F[微调恢复]
F --> D
E -->|是| G[测体积与延迟]
G --> H[部署到受限设备]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 模型蒸馏与剪枝 · 查看原书依据
模型剪枝在实际应用中非常适合用于资源受限环境中的模型部署,例如在移动设备或嵌入式系统上实现图像分类应用。以下案例将展示如何使用剪枝技术优化一个图像分类模型,使其在减少存储和计算量的同时保持良好的分类精度。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第10章《模型蒸馏与剪枝》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter014_0003.xhtml)
- 结论依据:原文把嵌入式部署的剪枝步骤列为训练模型、应用剪枝、评估与微调、模型部署四步,并给出精度 98.23%→97.45%→96.83%、体积 0.87MB、推理 1.02s 的结果。
- 原始内容:模型剪枝在实际应用中非常适合用于资源受限环境中的模型部署,例如在移动设备或嵌入式系统上实现图像分类应用。以下案例将展示如何使用剪枝技术优化一个图像分类模型,使其在减少存储和计算量的同时保持良好的分类精度。