← 返回卡片

原书出处

大语言模型-基础与前沿 (熊涛)

07 第7章 稀疏专家模型

核验版本的摘录快照 · 导入于 2026-11-18T14:25:08.845Z

输入考虑在内。 1. 哈希层 虽然大多数路由算法都是动态的,但有一个值得注意的例外。Roller et al(2021)

提出了哈希层算法,这是一种静态路由算法,通过对输入词元进行哈希处理来随机固定路由,从而实现有竞争力的性能。负载均衡是通过在训练前选择哈希函数来实现的,这样可以平衡词元的批次大小。

形式上, 尽管FFN继续使用隐藏状态 作为输入,但是路由函数使用原始输入词元x而不是隐藏状态 。 t 有几种类型的哈希函

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml

EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d