← 返回刚才阅读的位置

知识卡片

结构图卡 · 9547.a · 生成模型:DeepSeek-V4.1-Flash

单向掩码只让模型看到过去

理解等级:中级

自注意力默认对每个位置都敞开全序列,这在理解类任务里是优点,在生成任务里却是致命的:如果预测第 t 个词时能看到第 t+1 个词,等于考试时把答案摊在桌上,训练损失会降得很好看,推理时却没有答案可看。

GPT-2 用单向自回归注意力解决这个问题。计算仍按 [[自注意力用点积衡量词间相关度]] 的步骤走,只是在得到相似度矩阵之后、softmax 之前,把每个位置对其右侧(未来)位置的分数置为负无穷;softmax 之后这些位置的权重恰好为 0,于是第 t 位只能聚合自己和左侧的信息。位置 i 至少能看到自己,所以不会出现整行权重为零的情况。

这条掩码与训练目标必须匹配。GPT 的训练目标是给定前缀预测下一个词,掩码保证每一步的可见范围与推理时一致,模型学到的正是”只有左侧上下文时如何估计下一个词”。反过来说,双向注意力适合做理解类任务,却不能直接用于这种逐词生成,因为它在训练时就已偷看过未来。掩码形状是 seq×seq 的下三角,成本随序列长度平方增长,这与注意力本身的开销同源。

结构图:

graph LR
  A[输入序列] --> B[线性变换得 Q K V]
  B --> C[Q 与 K 点积得分数矩阵]
  C --> D[上三角未来位置置为负无穷]
  D --> E[softmax 后未来权重为零]
  E --> F[加权求和 V 得输出]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • GPT模型文本生成核心原理与实现 · 查看原书依据

      GPT-2中的注意力机制通过自注意力实现,允许模型在处理每个位置的词时关注其他位置的信息。不同于双向注意力,GPT-2使用单向的自回归注意力,使得在生成任务时,每个位置只能看到它之前的词,从而保持文本生成的连贯性和一致性。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第2章《GPT模型文本生成核心原理与实现》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter006_0001.xhtml) - 结论依据:原文强调 GPT-2"使用单向的自回归注意力,使得在生成任务时,每个位置只能看到它之前的词",并在代码解析中说明单向掩码"避免生成时泄露未来信息"。 - 原始内容:GPT-2中的注意力机制通过自注意力实现,允许模型在处理每个位置的词时关注其他位置的信息。不同于双向注意力,GPT-2使用单向的自回归注意力,使得在生成任务时,每个位置只能看到它之前的词,从而保持文本生成的连贯性和一致性。