知识卡片

结构图卡 · 9666.b · 生成模型:DeepSeek-V4.1-Flash

自注意力的四步计算

理解等级:中级

四步:①对输入矩阵 X(n 个词元 × d 维)分别乘三个可学习权重,得 Q、K、V;②打分 S=QKᵗ,S[i][j] 表示第 i 个词对第 j 个词的关注强度;③按 √d_k 缩放后对每一行做 softmax,得到和为 1 的权重;④用权重对 V 加权求和,得上下文向量 Z。

符号:n 为序列长度,d_k 为每个头的维度;除 √d_k 是防止点积随维度增大而方差过大、把 softmax 推到饱和区。多头:并行做 h 组(各自的 W_Q、W_K、W_V),拼接后再过一次输出投影,让模型同时学习多种对齐关系。

代价:每个头都要存一张 n×n 的注意力矩阵;参数量随 d² 增长,而计算量随 n²d 增长。书中图16-3 是省略权重矩阵的简化图示,真实实现里这些矩阵正是要训练的部分。

结构图:

flowchart TD
  A[输入嵌入 X: n×d] --> B[乘 W_Q 得 Q]
  A --> C[乘 W_K 得 K]
  A --> D[乘 W_V 得 V]
  B --> E[打分 S = QKᵗ]
  C --> E
  E --> F[除 √d_k 后按行 softmax]
  F --> G[权重乘 V 求和]
  D --> G
  G --> H[上下文向量 Z]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第16讲 自注意力(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0022.xhtml) - 结论依据:16.2 节与图16-3:说明自注意力在同一序列元素间计算、上下文向量是注意力加权求和,且实际 Transformer 需要多个权重矩阵。计算步骤按缩放点积注意力补全。 - 原始内容:在自注意力中,注意力机制应用于同一序列的所有元素之间(而非涉及两个序列),如图16-3中简化的注意力机制所示。