知识卡片

普通读书笔记卡 · 9686.s · 生成模型:DeepSeek-V4.1-Flash

更小模型:修剪、蒸馏与量化

理解等级:中级

三条压缩路线,作用点不同:修剪减少参数数量,蒸馏把能力搬到小模型,量化减少每个参数的位数。

修剪:去掉对损失影响小的权重。非结构化修剪可删任意连接,但稀疏矩阵在通用硬件上未必更快;结构化修剪整头、整层地删,能真正提速。实测去掉四成层仍保留九成多性能,去掉两到四成注意力头几乎无损;幅度修剪(删绝对值最小的权重)简单且有效,SparseGPT 在超大模型上做一半稀疏也几乎不掉点。彩票假说则指出,稠密网络里存在只需重训就能复现精度的子网。

蒸馏:学生同时拟合教师的软分布(带温度)和真实标签,用系数平衡两个目标。DistilBERT、TinyBERT 更小更快,但在难任务上可能明显掉点,且仍需先训练一个大教师。

量化:半精度存储与计算、保留单精度主副本以防数值问题;进一步用八位整数加量化感知训练,把内存压到四分之一而精度基本保持。

另一条捷径:层间表征近似线性,可拟合跨层变换直接跳层,用少量精度换显著计算节省。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 Transformer · 查看原书依据

      修剪是一种缩小神经网络规模的技术,以使它们比大型模型更快、更小、更容易泛化。这是通过去除显著性低的权重来实现的,这些权重对损失函数几乎没有影响,可能被认为是多余的。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第3章《Transformer》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml) - 结论依据:原文该段以「修剪是一种缩小神经网络规模的技术,以使它们比大型模型更快、更小、更容…」为中心展开,本卡的核心判断「三条压缩路线,作用点不同:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:修剪是一种缩小神经网络规模的技术,以使它们比大型模型更快、更小、更容易泛化。这是通过去除显著性低的权重来实现的,这些权重对损失函数几乎没有影响,可能被认为是多余的。