知识卡片
稀疏专家:用激活稀疏换规模
机制
稀疏专家模型把参数切成若干专家子网络,每次前向只激活与当前输入最相关的一小部分;密集模型则每次激活全部参数。路由决定哪些专家参与,于是同一个模型对不同问题动用不同的参数子集。
收益一:规模不再等于慢
参数量可以远大于单次计算量。密集模型大小翻倍,运行速度大致减半;稀疏结构打破了这个绑定。已发布的万亿级模型多采用这种结构,有报告称更大的稀疏模型训练能耗更少、推理算力更少,任务表现还更好。
收益二:可解释性
输出可以追溯到被激活的专家,人更容易给出可理解的解释。在医疗等高风险场景,这比单纯的分数提升更重要。
代价
路由要学,训练不稳定、专家负载不均、显存占用大都是工程难点。稀疏换来的是计算效率,不是存储效率。
判断方法
面对更高效的说法,追问省的是训练算力、推理算力,还是显存。三者常常此消彼长。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第1章 大语言模型:辩论、争议与未来发展方向 · 查看原书依据
稀疏专家模型的运行方式与密集模型不同,它们只能调用最相关的参数子集来响应给定的查询。这与密集模型形成了鲜明对比,在密集模型中,每次模型运行时都会激活所有参数。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第1章《大语言模型:辩论、争议与未来发展方向》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter3.xhtml)
- 结论依据:原文该段以「稀疏专家模型的运行方式与密集模型不同,它们只能调用最相关的参数子集来…」为中心展开,本卡的核心判断「机制 稀疏专家模型把参数切成若干专家子网络,每次前向只激活与当前输入最相关的一小部分;」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:稀疏专家模型的运行方式与密集模型不同,它们只能调用最相关的参数子集来响应给定的查询。这与密集模型形成了鲜明对比,在密集模型中,每次模型运行时都会激活所有参数。