知识卡片
稀疏换规模:为何划算
成本矛盾 放大尺度法则表明,语言模型性能随参数量、数据量与计算量呈幂律提升,大模型还能用更少的样本达到同样效果,最佳规模随预算平滑增长。但稠密模型把参数做大,训练与推理的算力、显存、通信都同比上涨,成本很快变得不可承受。
MoE 的交换 把前馈层拆成许多结构相同、按同一算法训练的“专家”,再加一个门控,让每个词元只经过其中少数几个。参数量随专家数增长,单次前向的浮点运算只随被激活的专家数增长——容量与计算被解耦,这正是“稀疏激活”的含义。
别误解边界 省下的是计算,不是存储:所有专家仍要放进显存,跨设备调度还会引入通信与负载均衡开销。因此 MoE 适合“想要更大知识容量、但不愿按比例付算力”的场景;当显存或带宽是瓶颈时,收益会明显打折。
旁证 同一思路后来被搬到多模态:把文本与视觉前馈层分别专家化(VL-MoE),说明“按模态或领域分专家”是一种可迁移的设计,而不只是语言模型的技巧。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 稀疏专家模型 · 查看原书依据
有趣的是,更大的模型需要更少的样本来达到相同的性能,而且最佳模型规模会随着计算预算平滑增长。然而,这些大型模型的成本可能很高,而稀疏性是在不增加成本的情况下扩大规模的一个前景广阔的领域。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第7章《稀疏专家模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml)
- 结论依据:原文该段以「有趣的是,更大的模型需要更少的样本来达到相同的性能,而且最佳模型规模…」为中心展开,本卡的核心判断「成本矛盾 放大尺度法则表明,语言模型性能随参数量、数据量与计算量呈幂律提升,大模」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:有趣的是,更大的模型需要更少的样本来达到相同的性能,而且最佳模型规模会随着计算预算平滑增长。然而,这些大型模型的成本可能很高,而稀疏性是在不增加成本的情况下扩大规模的一个前景广阔的领域。