知识卡片
掩码与交叉:谁能看见谁
掩码自注意力:解码器生成第 t 个词时只能利用前 t 个词。做法是在 softmax 之前把未来位置的打分置为负无穷,使它们的权重为 0。这样训练时可以把整句一次性喂入、并行计算每个位置的预测,而不必像循环网络那样逐步展开,且与推理时逐词生成的行为一致;若不掩码,模型会直接抄到答案,训练损失失效。
交叉注意力:查询取自解码器当前层的表征,键和值取自编码器输出。它让每个生成步骤自行决定关注源句的哪些部分,取代了把整句压成一个定长向量的做法,长句信息不必挤过单一瓶颈。
三者对照:编码器自注意力全可见;解码器自注意力只看前缀;交叉注意力看整个输入但不看未来输出。实现上是同一套打分代码,差别只在键值来自哪里、哪些位置被屏蔽。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 Transformer · 查看原书依据
Transformer中的解码器也采用了与编码器类似的架构,主要区别在于每个重复模块包含两个多头注意力子模块。第一个多头注意力子模块被掩蔽,以防止位置注意到输入序列中的未来位置,这对于语言建模和机器翻译等任务非常重要。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第3章《Transformer》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml)
- 结论依据:原文该段以「Transformer中的解码器也采用了与编码器类似的架构,主要区别…」为中心展开,本卡的核心判断「掩码自注意力:解码器生成第 t 个词时只能利用前 t 个词。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:Transformer中的解码器也采用了与编码器类似的架构,主要区别在于每个重复模块包含两个多头注意力子模块。第一个多头注意力子模块被掩蔽,以防止位置注意到输入序列中的未来位置,这对于语言建模和机器翻译等任务非常重要。