← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9690.g · 生成模型:DeepSeek-V4.1-Flash

top-1 够用:Switch

理解等级:中级

结论的反转 早期观点认为必须把词元送给多个专家(k 大于 1),网络才能比较、优化多个专家的相对表现。Switch Transformer 用实验证明每个词元只路由到一个专家也能取得有竞争力的结果,后续工作也支持了这一发现。

结构 用“稀疏开关前馈层”替换稠密前馈层:每个词元只进一个专家,参数随专家数扩张,而计算量基本不变,模型因此可以推到万亿参数级。负载均衡仍靠辅助损失:以“路由到第 i 个专家的词元比例”乘以“门控给该专家的平均概率”,对所有专家求和。

三个稳定化设计 - 差异化 dropout:非专家层用 0.1,专家前馈层用 0.4。专家层参数多、易过拟合,但整体一起加 dropout 会掉性能。 - 更小的初始化:权重从均值 0 的截断正态分布采样,初始化缩放从 1 降到 0.1。 - 选择性精度:只在路由函数内部用 FP32,结果再转回 FP16,既稳住数值又避开 FP32 张量的昂贵通信。

代价 top-1 最省,但每个词元只被一个专家看到,容量上限带来的丢弃也更硬;它是效率优先的取舍,而非普适最优。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 稀疏专家模型 · 查看原书依据

      Switch Transformer(Fedus et al,2021)通过利用稀疏开关前馈网络层,使模型能够扩展到数万亿个参数,其中每个输入只路由到一个专家网络,取代了稠密前馈网络层。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第7章《稀疏专家模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml) - 结论依据:原文该段以「Switch Transformer(Fedus et al,202…」为中心展开,本卡的核心判断「结论的反转 早期观点认为必须把词元送给多个专家(k 大于 1),网络才能比较、优化多个专家的相对表现。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:Switch Transformer(Fedus et al,2021)通过利用稀疏开关前馈网络层,使模型能够扩展到数万亿个参数,其中每个输入只路由到一个专家网络,取代了稠密前馈网络层。