知识卡片
自注意力:查询、键与值
三个角色:序列中每个位置的向量分别乘三个可学习矩阵,得到查询 Q、键 K、值 V。Q 表示“我在找什么”,K 表示“我能提供什么线索”,V 是真正被取走的内容。
计算:先用 Q 与 K 的转置做点积,得到任意两个位置的相似度;除以 √d_k 后按行做 softmax,转成权重;再用权重对 V 加权求和。每个位置因此得到一个融合了全序列信息的输出向量。
为什么要缩放:维度 d_k 越大,点积的方差越大,softmax 容易被推到接近 one-hot 的饱和区,梯度变得极小。除以 √d_k 相当于把打分拉回合适温度,使训练稳定。
与查表的区别:普通查找表按精确键匹配、不可微;这里是按相似度软匹配,权重连续可调,因而能端到端训练。代价是每个位置都要和所有位置比较,序列变长时打分矩阵按平方增长,长文本的开销主要来自这里。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 Transformer · 查看原书依据
注意力可以被视为一个“软”查找表,其中每个输入词元都可用于查询,目的是与序列中的所有其他元素进行匹配,从而检索出有用的相关信息。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第3章《Transformer》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml)
- 结论依据:原文该段以「注意力可以被视为一个“软”查找表,其中每个输入词元都可用于查询,目的…」为中心展开,本卡的核心判断「三个角色:序列中每个位置的向量分别乘三个可学习矩阵,得到查询 Q、键 K、值 V。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:注意力可以被视为一个“软”查找表,其中每个输入词元都可用于查询,目的是与序列中的所有其他元素进行匹配,从而检索出有用的相关信息。