知识卡片
哈希层:不学路由也能用
静态路由 多数路由在训练中动态学习,哈希层是例外:训练开始前就用哈希函数把词元固定映射到专家,之后不再改变。路由用的是原始词元本身,而不是隐藏状态,因此路由与网络内部表征解耦。
怎么保证均衡 随机哈希最简单,但词频服从 Zipf 分布,高频词会挤进同一个专家,负载严重倾斜。更稳的做法是均衡分配:训练前扫一遍数据分布,建一张查找表,用贪心策略把最常用的词元放进当前最空的桶。即便如此也不完美,因为个别词元的频率会超出理想配额。
变体 - 二元语法哈希:同时看当前词元与前一个词元。 - 前一个词元哈希:只看前一个词元,忽略当前输入。 - 位置哈希:按序列位置哈希,用作健全性检查;位置信息在自然语言中几乎没有意义,预期效果平平。
收益与天花板 没有可学习的门控,就不存在路由崩溃与门控训练成本,实现极简且推理稳定。但路由容量被固定函数锁死:词表变大、专家数固定时,鸽巢原理会让冲突加剧,性能随之下降。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 稀疏专家模型 · 查看原书依据
提出了哈希层算法,这是一种静态路由算法,通过对输入词元进行哈希处理来随机固定路由,从而实现有竞争力的性能。负载均衡是通过在训练前选择哈希函数来实现的,这样可以平衡词元的批次大小。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第7章《稀疏专家模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml)
- 结论依据:原文该段以「提出了哈希层算法,这是一种静态路由算法,通过对输入词元进行哈希处理来…」为中心展开,本卡的核心判断「静态路由 多数路由在训练中动态学习,哈希层是例外:」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:提出了哈希层算法,这是一种静态路由算法,通过对输入词元进行哈希处理来随机固定路由,从而实现有竞争力的性能。负载均衡是通过在训练前选择哈希函数来实现的,这样可以平衡词元的批次大小。