知识卡片
相对位置:只关心距离
核心动机:把位置信息写进注意力得分而不是嵌入里,让模型直接比较两个位置的相对距离;同时,超过一定距离后精确距离不再有信息量,继续细分只会浪费参数,于是用截断函数把超过上限的距离压到同一个取值,参数量随之下降。
几种做法: - Shaw 等把词元看作全连接图,边上是可学习的相对位置向量,分别加到键和值上,并用截断控制最大距离。 - Transformer-XL 在段间循环后绝对位置会重复,改用正弦相对编码,并给查询加两个可学习偏置向量。 - ALiBi 更极端:不学习任何位置参数,按头给定固定的几何递减斜率,把“负的距离乘以斜率”直接加到得分上,近处加分、远处扣分。它在短上下文训练后仍能在更长序列上推理,外推能力来自这种简单的距离先验。
共同点:都不修改词嵌入,而是改写 softmax 之前的打分,因此可以逐层、逐头施加不同的距离偏好。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 Transformer · 查看原书依据
两个任意位置t和s之间的连接由可学习的向量表示,该向量用作相对位置编码。他们还发现,超过一定距离的精确相对位置信息是没有用的,因此他们引入了clip函数来减小参数的数量。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第3章《Transformer》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml)
- 结论依据:原文该段以「两个任意位置t和s之间的连接由可学习的向量表示,该向量用作相对位置编…」为中心展开,本卡的核心判断「核心动机:把位置信息写进注意力得分而不是嵌入里,让模型直接比较两个位置的相对距离;」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:两个任意位置t和s之间的连接由可学习的向量表示,该向量用作相对位置编码。他们还发现,超过一定距离的精确相对位置信息是没有用的,因此他们引入了clip函数来减小参数的数量。