← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9686.f · 生成模型:DeepSeek-V4.1-Flash

掩码与交叉:谁能看见谁

理解等级:高级

掩码自注意力:解码器生成第 t 个词时只能利用前 t 个词。做法是在 softmax 之前把未来位置的打分置为负无穷,使它们的权重为 0。这样训练时可以把整句一次性喂入、并行计算每个位置的预测,而不必像循环网络那样逐步展开,且与推理时逐词生成的行为一致;若不掩码,模型会直接抄到答案,训练损失失效。

交叉注意力:查询取自解码器当前层的表征,键和值取自编码器输出。它让每个生成步骤自行决定关注源句的哪些部分,取代了把整句压成一个定长向量的做法,长句信息不必挤过单一瓶颈。

三者对照:编码器自注意力全可见;解码器自注意力只看前缀;交叉注意力看整个输入但不看未来输出。实现上是同一套打分代码,差别只在键值来自哪里、哪些位置被屏蔽。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 Transformer · 查看原书依据

      Transformer中的解码器也采用了与编码器类似的架构,主要区别在于每个重复模块包含两个多头注意力子模块。第一个多头注意力子模块被掩蔽,以防止位置注意到输入序列中的未来位置,这对于语言建模和机器翻译等任务非常重要。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第3章《Transformer》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml) - 结论依据:原文该段以「Transformer中的解码器也采用了与编码器类似的架构,主要区别…」为中心展开,本卡的核心判断「掩码自注意力:解码器生成第 t 个词时只能利用前 t 个词。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:Transformer中的解码器也采用了与编码器类似的架构,主要区别在于每个重复模块包含两个多头注意力子模块。第一个多头注意力子模块被掩蔽,以防止位置注意到输入序列中的未来位置,这对于语言建模和机器翻译等任务非常重要。