原书出处
大语言模型-基础与前沿 (熊涛)
07 第7章 稀疏专家模型
由来说,在负载均衡和专用化之间找到合适的平衡点是一项挑战。 1. BASE 正如Lewis et al(2021)所述,
BASE(基础)层将词元路由视为一个线性分配问题,该问题旨在为每个专家分配固定数量的词元,同时最大化路由矩阵的得分。 BASE层可直接替代稀疏专家层,无须调整额外的损失函数或超参数。
这种方法几乎与数据并行训练一样有效,而且能正式保证每个专家将被分配给一个词元,并且所有专家将以最大能力运行,而不会因为缺
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d