知识卡片
自注意力的四步计算
四步:①对输入矩阵 X(n 个词元 × d 维)分别乘三个可学习权重,得 Q、K、V;②打分 S=QKᵗ,S[i][j] 表示第 i 个词对第 j 个词的关注强度;③按 √d_k 缩放后对每一行做 softmax,得到和为 1 的权重;④用权重对 V 加权求和,得上下文向量 Z。
符号:n 为序列长度,d_k 为每个头的维度;除 √d_k 是防止点积随维度增大而方差过大、把 softmax 推到饱和区。多头:并行做 h 组(各自的 W_Q、W_K、W_V),拼接后再过一次输出投影,让模型同时学习多种对齐关系。
代价:每个头都要存一张 n×n 的注意力矩阵;参数量随 d² 增长,而计算量随 n²d 增长。书中图16-3 是省略权重矩阵的简化图示,真实实现里这些矩阵正是要训练的部分。
结构图:
flowchart TD
A[输入嵌入 X: n×d] --> B[乘 W_Q 得 Q]
A --> C[乘 W_K 得 K]
A --> D[乘 W_V 得 V]
B --> E[打分 S = QKᵗ]
C --> E
E --> F[除 √d_k 后按行 softmax]
F --> G[权重乘 V 求和]
D --> G
G --> H[上下文向量 Z]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第16章 自注意力 · 查看原书依据
在自注意力中,注意力机制应用于同一序列的所有元素之间(而非涉及两个序列),如图16-3中简化的注意力机制所示。
参考来源
- 位置:《大模型技术30讲》第16讲 自注意力(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0022.xhtml)
- 结论依据:16.2 节与图16-3:说明自注意力在同一序列元素间计算、上下文向量是注意力加权求和,且实际 Transformer 需要多个权重矩阵。计算步骤按缩放点积注意力补全。
- 原始内容:在自注意力中,注意力机制应用于同一序列的所有元素之间(而非涉及两个序列),如图16-3中简化的注意力机制所示。