知识卡片

普通读书笔记卡 · 9684.l · 生成模型:DeepSeek-V4.1-Flash

稀疏专家:用激活稀疏换规模

理解等级:中级

机制

稀疏专家模型把参数切成若干专家子网络,每次前向只激活与当前输入最相关的一小部分;密集模型则每次激活全部参数。路由决定哪些专家参与,于是同一个模型对不同问题动用不同的参数子集。

收益一:规模不再等于慢

参数量可以远大于单次计算量。密集模型大小翻倍,运行速度大致减半;稀疏结构打破了这个绑定。已发布的万亿级模型多采用这种结构,有报告称更大的稀疏模型训练能耗更少、推理算力更少,任务表现还更好。

收益二:可解释性

输出可以追溯到被激活的专家,人更容易给出可理解的解释。在医疗等高风险场景,这比单纯的分数提升更重要。

代价

路由要学,训练不稳定、专家负载不均、显存占用大都是工程难点。稀疏换来的是计算效率,不是存储效率。

判断方法

面对更高效的说法,追问省的是训练算力、推理算力,还是显存。三者常常此消彼长。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第1章《大语言模型:辩论、争议与未来发展方向》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter3.xhtml) - 结论依据:原文该段以「稀疏专家模型的运行方式与密集模型不同,它们只能调用最相关的参数子集来…」为中心展开,本卡的核心判断「机制 稀疏专家模型把参数切成若干专家子网络,每次前向只激活与当前输入最相关的一小部分;」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:稀疏专家模型的运行方式与密集模型不同,它们只能调用最相关的参数子集来响应给定的查询。这与密集模型形成了鲜明对比,在密集模型中,每次模型运行时都会激活所有参数。