← 返回卡片

原书出处

大语言模型-基础与前沿 (熊涛)

07 第7章 稀疏专家模型

核验版本的摘录快照 · 导入于 2026-11-18T14:25:08.845Z

计,它可以在提高模型规模的同时,只引入少量计算开销。MoE层是MoE模型在深度神经网络中的扩展,近年来取得了显著的成功。

MoE层包含许多专家,它们共享相同的网络架构,并通过相同的算法进行训练。门控(或路由)函数将单个输入路由到所有候选专家中的少数专家。

MoE层中的路由器可以将每个输入路由到top-k(k≥2)或单(k=1)个专家。图7-1通过一个样例进行了说明。 人们对

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml

EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d