知识卡片
自注意力数据流
把单个注意力头拆成五步:输入矩阵分别投影出 Q、K、V;Q 与 K 转置相乘得到长度为序列长度的打分矩阵;除以 √d_k 并做 softmax 归一化;用权重对 V 加权求和;多个头的结果拼接后再乘一次输出投影。图中省略了每个子层外围的残差相加与层归一化,它们不改变这条主数据流,只负责让梯度顺畅回传、让数值尺度稳定。
结构图:
flowchart LR
X[输入X] --> Q[Q=XWq]
X --> K[K=XWk]
X --> V[V=XWv]
Q --> S[缩放点积 QK转置]
K --> S
S --> M[按行softmax]
M --> O[对V加权求和]
V --> O
O --> C[多头拼接与Wo]
C --> Z[输出Z]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 Transformer · 查看原书依据
该函数由一组方程定义,这些方程使该模块能够同时计算并对输入序列中的所有位置应用注意力得分。通过这种方式,Transformer编码器模块能够捕捉输入序列中的长程依赖关系
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第3章《Transformer》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml)
- 结论依据:原文该段以「该函数由一组方程定义,这些方程使该模块能够同时计算并对输入序列中的所…」为中心展开,本卡的核心判断「把单个注意力头拆成五步:」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:该函数由一组方程定义,这些方程使该模块能够同时计算并对输入序列中的所有位置应用注意力得分。通过这种方式,Transformer编码器模块能够捕捉输入序列中的长程依赖关系