原书出处
大语言模型-基础与前沿 (熊涛)
07 第7章 稀疏专家模型
由和负载均衡计算是这些架构的基础,因此高效计算MoE是一项挑战。然而,现有的深度学习硬件和软件使得应对这一挑战变得困难。
例如,TPU及其XLA编译器需要静态已知张量形状(Fedus et al,2022)。虽然GPU更灵活,但MoE中的稀疏计算并不能完全映射到主要框架和库所支持的软件原语。
为了解决这些问题,最先进的MoE训练框架对MoE路由进行了严格限制。为了消除计算的动态性,研究人员将映射到每个专家的词元
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d