← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9686.n · 生成模型:DeepSeek-V4.1-Flash

稀疏注意力:局部、全局与组合

理解等级:高级

出发点:全注意力给每个查询都配一张长度为 N 的查找表,共 N 张,成本是平方级。若能把候选压缩到与 N 无关的 k 个,复杂度就降到线性。

固定模式:带状或滑动窗口只看邻域;稀释与阶梯隔几个位置取一个,扩大感受野而不增加计算;块局部(分块注意力)把序列切成不重叠的块,查询只看所在块,复杂度从 N 的平方降到 N 乘块大小,是许多复杂模型的底座;随机连接用来兜住漏掉的长程关系。

可学习与低秩:用哈希或在线聚类把相似词元分到同一桶(Reformer、路由 Transformer),让访问模式由数据决定;池化下采样缩短序列;Linformer 假定注意力矩阵低秩,把 N×N 近似为 N×k。

全局与组合:再设少量全局节点,它们能关注全序列、也被全序列关注,充当远距离信息的中转,任意两个词元两跳可达;Longformer 用局部窗口配全局节点,BigBird 再加随机连接,稀疏 Transformer 与 Star-Transformer 则把跨步、局部、全局拼成混合图。

代价:模式是先验的,可能切断必要连接;非规则访问若没有专门内核,实际加速有限;全局节点太少成瓶颈,太多则退回全注意力。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第3章《Transformer》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml) - 结论依据:原文该段以「在基本型Transformer中,每个词元都必须注意序列中的所有其他…」为中心展开,本卡的核心判断「出发点:全注意力给每个查询都配一张长度为 N 的查找表,共 N 张,成本是平方级。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:在基本型Transformer中,每个词元都必须注意序列中的所有其他词元,这就生成了一个序列长度为N的查找表。