知识卡片

结构图卡 · 9555.h · 生成模型:DeepSeek-V4.1-Flash

剪枝是训练评调闭环

理解等级:初级

剪枝不是一次性操作,而是一个“训练—剪—评—调”的闭环。先训练一个达标的基础模型作为起点;再选定要剪的层与每层比例;施加剪枝,用掩码标记要移除的结构;在验证集上评估精度与推理速度;若精度下降超出可接受范围,就微调恢复,然后回到评估;达标后测量模型体积与延迟,部署到目标设备。

顺序里有两点容易做错。其一是评估必须同时看精度和速度:只剪不看速度,可能剪了个不加速的位置;只看速度不看精度,得到的模型无法上线。其二是微调不是可选项,剪枝打破了原有的参数平衡,剩下的权重并未针对新结构优化过,用少量数据回炉通常能把损失补回一部分。

书中嵌入式部署案例按此流程执行:基础模型 98.23%,权重剪枝后 97.45%,再结构化剪枝后 96.83%,体积降到 0.87MB,推理 1.02s,仍满足手写数字识别的可用要求。两级剪枝各损失不到 1 个百分点,说明冗余确实存在,但下降是累积的。

结构图:

graph LR
    A[训练基础模型] --> B[选层与剪枝比例]
    B --> C[施加剪枝]
    C --> D[验证集评估]
    D --> E{精度可接受}
    E -->|否| F[微调恢复]
    F --> D
    E -->|是| G[测体积与延迟]
    G --> H[部署到受限设备]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 模型蒸馏与剪枝 · 查看原书依据

      模型剪枝在实际应用中非常适合用于资源受限环境中的模型部署,例如在移动设备或嵌入式系统上实现图像分类应用。以下案例将展示如何使用剪枝技术优化一个图像分类模型,使其在减少存储和计算量的同时保持良好的分类精度。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第10章《模型蒸馏与剪枝》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter014_0003.xhtml) - 结论依据:原文把嵌入式部署的剪枝步骤列为训练模型、应用剪枝、评估与微调、模型部署四步,并给出精度 98.23%→97.45%→96.83%、体积 0.87MB、推理 1.02s 的结果。 - 原始内容:模型剪枝在实际应用中非常适合用于资源受限环境中的模型部署,例如在移动设备或嵌入式系统上实现图像分类应用。以下案例将展示如何使用剪枝技术优化一个图像分类模型,使其在减少存储和计算量的同时保持良好的分类精度。