知识卡片

普通读书笔记卡 · 9690.m · 生成模型:DeepSeek-V4.1-Flash

工程约束:形状、内核与量化

理解等级:高级

静态形状的枷锁 TPU 与 XLA 编译器要求张量形状在编译期已知,而 MoE 的路由结果是动态的:每个专家收到多少词元事先不知道。工程上的通行解法是把每个专家的词元集合裁剪或填充到用户指定大小,于是被迫在“删掉词元”与“为填充浪费算力和显存”之间二选一。这个决定要靠调超参完成,是 MoE 使用复杂度的主要来源之一。

块稀疏内核 当专家数超过设备数时,可把 MoE 层看成一次稀疏矩阵乘法:每个专家对应一组非零列,top-k 意味着每个词元只激活 k 组列。据此写出的块稀疏 CUDA 内核按实际负载动态确定块结构,既快于当时的通用实现,也顺带消除了容量系数这个超参。

推理侧的现实 路由与全互换会给单节点带来最高约 12% 的吞吐损失,MoE 层显存占用也更大;相同维度下推理速度可达稠密模型的 30 倍慢。可行的优化包括:把所有专家横向拼成一个大分组矩阵乘;只量化静态权重(专家占权重九成以上)且逐列定标;把填充词元路由到排在末尾的虚拟专家,最后切片丢弃。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 稀疏专家模型 · 查看原书依据

      例如,TPU及其XLA编译器需要静态已知张量形状(Fedus et al,2022)。虽然GPU更灵活,但MoE中的稀疏计算并不能完全映射到主要框架和库所支持的软件原语。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第7章《稀疏专家模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml) - 结论依据:原文该段以「例如,TPU及其XLA编译器需要静态已知张量形状(Fedus et …」为中心展开,本卡的核心判断「静态形状的枷锁 TPU 与 XLA 编译器要求张量形状在编译期已知,而 MoE 的路由结果是动态的:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:例如,TPU及其XLA编译器需要静态已知张量形状(Fedus et al,2022)。虽然GPU更灵活,但MoE中的稀疏计算并不能完全映射到主要框架和库所支持的软件原语。