知识卡片
自注意力用点积衡量词间相关度
自注意力的目标是让每个位置在处理自己时,能按需从序列其他位置取信息。做法是给每个位置的输入向量乘上三组可学习权重,得到查询 Q、键 K、值 V:Q 表示”这个位置想找什么”,K 表示”这个位置能提供什么”,V 是”这个位置实际携带的内容”。
计算分四步:用 q 与所有位置的 k 做点积得到相似度分数,点积越大说明方向越接近;把分数除以缩放因子;对分数做 softmax 归一化成一组和为 1 的权重;用权重对 V 加权求和,得到该位置的新表示。所有位置同时这样算,就得到与输入同形状的输出矩阵。
这一步把”距离”从网络结构里拿掉了:任意两个位置都直接相连,因此长句中的远距离依赖不必像 RNN 那样逐时间步传递。代价是权重矩阵的规模随序列长度平方增长,长文本的开销迅速上升;并且单个头只能学到一种关注模式,这正是 [[多头注意力在多个子空间并行关注]] 要解决的问题。
结构图:
graph TD
A[输入序列嵌入] --> B[线性变换生成 Q K V]
B --> C[Q 与 K 点积得相似度分数]
C --> D[除以缩放因子]
D --> E[softmax 得注意力权重]
E --> F[按权重对 V 加权求和]
F --> G[位置输出 形状同输入]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Transformer模型基础 · 查看原书依据
该机制利用每个位置的查询向量与其他位置的键向量计算点积,以此获得注意力分布,然后将注意力权重作用在值向量上,得到每个位置的注意力输出。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第1章《Transformer模型基础》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter005_0003.xhtml)
- 结论依据:原文按"生成 QKV—算点积得注意力分布—权重作用于 V"的顺序描述机制,并指出它使模型能捕捉远距离依赖,本卡据此整理为四步流程与其代价。
- 原始内容:该机制利用每个位置的查询向量与其他位置的键向量计算点积,以此获得注意力分布,然后将注意力权重作用在值向量上,得到每个位置的注意力输出。