知识卡片
因果掩蔽守住自回归
做法:解码器自注意力的打分矩阵在上三角置为 −∞,softmax 后那些位置的权重为 0,第 i 个位置只能看到 ≤i 的位置。
为什么必须遮:训练时整段答案一次性送入,若不遮,预测第 t 个词时第 t 个词本身就在输入里,模型直接抄答案,损失会假性下降;推理时答案还不存在,训练与推理的输入分布就对不上。掩蔽把生成过程写成链式分解:
p(y|x) = ∏_{t=1}^{T} p(yt | y{}, x)
其中 y_{} 是 t 之前已生成的词元,x 是输入(编码器输出)。
代价:训练时上三角一半的分数被浪费;推理时第 t 步依赖第 t−1 步,T 个词就要 T 次串行前向,KV 缓存只能省重复计算,不能省步数。这就是自回归模型首字延迟(TTFT)之外、逐字输出慢的根源。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第17章 编码器和解码器风格的Transformer架构 · 查看原书依据
这种掩蔽(如图17-3明确所示,尽管它发生在解码器的多头自注意力机制内部)对于在训练和推理过程中保持Transformer模型的自回归特性至关重要。
参考来源
- 位置:《大模型技术30讲》第17讲 编码器和解码器风格的Transformer架构(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0023.xhtml)
- 结论依据:17.1.2 节与图17-3:说明解码器多头自注意力被掩蔽,防止注意到后面的位置,从而保证预测只依赖已知输出,并保持训练与推理的自回归特性。
- 原始内容:这种掩蔽(如图17-3明确所示,尽管它发生在解码器的多头自注意力机制内部)对于在训练和推理过程中保持Transformer模型的自回归特性至关重要。