← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9689.e · 生成模型:DeepSeek-V4.1-Flash

比特级缩放法则

理解等级:中级

推理时真正约束部署的是总比特数(参数量乘以每参比特),而不是参数量。于是有第二个缩放问题:总比特固定时,选大模型低比特,还是小模型高比特?

结论:在零样本任务上,20B 参数的 4 比特模型优于 10B 参数的 8 比特模型——容量带来的收益,在 4 比特这一档还没有被量化损失吃掉。经验上应尽可能用最大的模型,并配 4 比特量化。

边界:3 比特明显变差,除非把异常值通道单独处理;4 比特要配合“小参数组共享量化参数”的分组量化才稳定。还有一个现实约束:量化张量在运算前仍要转回 FP16,所以省的是内存不是时间,速度提升要等真正的低精度内核。

可迁移:做压缩前先问“预算约束的是哪个总量”——显存、带宽还是算力?总量确定后,再决定在哪个维度上取舍,才不会把容量与精度混为一谈。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 训练更大的模型 · 查看原书依据

      研究发现,为了实现推理内存与准确率的最佳平衡,应尽可能使用最大的模型,并建议使用4比特量化。如图6-1所示,在各种模型系列中,20B个参数的4比特模型优于10B个参数的8比特模型。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第6章《训练更大的模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml) - 结论依据:原文该段以「研究发现,为了实现推理内存与准确率的最佳平衡,应尽可能使用最大的模型…」为中心展开,本卡的核心判断「推理时真正约束部署的是总比特数(参数量乘以每参比特),而不是参数量。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:研究发现,为了实现推理内存与准确率的最佳平衡,应尽可能使用最大的模型,并建议使用4比特量化。如图6-1所示,在各种模型系列中,20B个参数的4比特模型优于10B个参数的8比特模型。