原书出处
大语言模型-基础与前沿 (熊涛)
07 第7章 稀疏专家模型
层路由 近年来,采用MoE预训练巨型模型的文献取得巨大成功。然而,这些模型有两个主要缺点,限制了它们的可扩展性和高效性。
首先,这些模型的节点内和节点间数据交换都依赖于All2All通信集合体。这意味着节点之间的通信以全互换(All-to-All)的方式进行,而由于通信通道的异构带宽,这种通信方式的效率很低。
其次,随着使用的专家越来越多,计算均衡路由器的成本变得越来越高。例如,大量专家可能会生成网络热点,从而对模型的整体性能产
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d