知识卡片
正弦位置编码给词注入顺序感
自注意力对输入顺序没有先验认知:把同一批词打乱重排,它算出的只是跟着换位置的同一组结果,模型本身分辨不出谁在前谁在后。位置编码就是补上这个缺失的维度——为序列中的每个位置生成一个与词嵌入同维的向量,再与词嵌入逐元素相加,让”第几个词”和”是什么词”同时进入表示。
书中采用正弦与余弦函数生成固定编码:不同维度对应不同频率,位置越靠后,编码在各频率上的相位推进越多,于是每个位置得到一组独一无二的取值。这种编码不参与训练(实现上用 register_buffer 存进模型,避免被优化器更新),因此不增加参数;由于函数形式固定,它具有良好的平移不变性,适合表达相对位置,也能对训练时没见过的更长序列直接生成编码。
相加而非拼接,是为了保持 [batch_size, seq_length, embed_size] 的形状不变,符合 [[形状一致让模块可以逐层堆叠]] 的约定。代价是位置信息与词义被混在同一个向量里,无法再干净分离;同时固定编码不具备学习能力,位置模式完全由公式决定。它与 [[嵌入层把词索引映射为稠密向量]] 一起,构成进入注意力层之前的完整输入表示。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Transformer模型基础 · 查看原书依据
由于自注意力机制对输入的顺序没有先验认知,因此位置编码将每个位置映射为特定的向量,并将其与词嵌入相加,从而在保持原始词语语义的同时,提供位置信息。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第1章《Transformer模型基础》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter005_0005.xhtml)
- 结论依据:原文先指出自注意力"对输入的顺序没有先验认知",再说明位置编码"将每个位置映射为特定的向量,并将其与词嵌入相加",并交代正弦余弦编码固定、不随训练更新。
- 原始内容:由于自注意力机制对输入的顺序没有先验认知,因此位置编码将每个位置映射为特定的向量,并将其与词嵌入相加,从而在保持原始词语语义的同时,提供位置信息。