← 返回卡片

原书出处

大语言模型-基础与前沿 (熊涛)

07 第7章 稀疏专家模型

核验版本的摘录快照 · 导入于 2026-11-18T14:25:08.845Z

由来说,在负载均衡和专用化之间找到合适的平衡点是一项挑战。 1. BASE 正如Lewis et al(2021)所述,

BASE(基础)层将词元路由视为一个线性分配问题,该问题旨在为每个专家分配固定数量的词元,同时最大化路由矩阵的得分。 BASE层可直接替代稀疏专家层,无须调整额外的损失函数或超参数。

这种方法几乎与数据并行训练一样有效,而且能正式保证每个专家将被分配给一个词元,并且所有专家将以最大能力运行,而不会因为缺

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml

EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d