← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9690.j · 生成模型:DeepSeek-V4.1-Flash

哈希层:不学路由也能用

理解等级:中级

静态路由 多数路由在训练中动态学习,哈希层是例外:训练开始前就用哈希函数把词元固定映射到专家,之后不再改变。路由用的是原始词元本身,而不是隐藏状态,因此路由与网络内部表征解耦。

怎么保证均衡 随机哈希最简单,但词频服从 Zipf 分布,高频词会挤进同一个专家,负载严重倾斜。更稳的做法是均衡分配:训练前扫一遍数据分布,建一张查找表,用贪心策略把最常用的词元放进当前最空的桶。即便如此也不完美,因为个别词元的频率会超出理想配额。

变体 - 二元语法哈希:同时看当前词元与前一个词元。 - 前一个词元哈希:只看前一个词元,忽略当前输入。 - 位置哈希:按序列位置哈希,用作健全性检查;位置信息在自然语言中几乎没有意义,预期效果平平。

收益与天花板 没有可学习的门控,就不存在路由崩溃与门控训练成本,实现极简且推理稳定。但路由容量被固定函数锁死:词表变大、专家数固定时,鸽巢原理会让冲突加剧,性能随之下降。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 稀疏专家模型 · 查看原书依据

      提出了哈希层算法,这是一种静态路由算法,通过对输入词元进行哈希处理来随机固定路由,从而实现有竞争力的性能。负载均衡是通过在训练前选择哈希函数来实现的,这样可以平衡词元的批次大小。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第7章《稀疏专家模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter9.xhtml) - 结论依据:原文该段以「提出了哈希层算法,这是一种静态路由算法,通过对输入词元进行哈希处理来…」为中心展开,本卡的核心判断「静态路由 多数路由在训练中动态学习,哈希层是例外:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:提出了哈希层算法,这是一种静态路由算法,通过对输入词元进行哈希处理来随机固定路由,从而实现有竞争力的性能。负载均衡是通过在训练前选择哈希函数来实现的,这样可以平衡词元的批次大小。