知识卡片

普通读书笔记卡 · 9546.i · 生成模型:DeepSeek-V4.1-Flash

正弦位置编码给词注入顺序感

理解等级:中级

自注意力对输入顺序没有先验认知:把同一批词打乱重排,它算出的只是跟着换位置的同一组结果,模型本身分辨不出谁在前谁在后。位置编码就是补上这个缺失的维度——为序列中的每个位置生成一个与词嵌入同维的向量,再与词嵌入逐元素相加,让”第几个词”和”是什么词”同时进入表示。

书中采用正弦与余弦函数生成固定编码:不同维度对应不同频率,位置越靠后,编码在各频率上的相位推进越多,于是每个位置得到一组独一无二的取值。这种编码不参与训练(实现上用 register_buffer 存进模型,避免被优化器更新),因此不增加参数;由于函数形式固定,它具有良好的平移不变性,适合表达相对位置,也能对训练时没见过的更长序列直接生成编码。

相加而非拼接,是为了保持 [batch_size, seq_length, embed_size] 的形状不变,符合 [[形状一致让模块可以逐层堆叠]] 的约定。代价是位置信息与词义被混在同一个向量里,无法再干净分离;同时固定编码不具备学习能力,位置模式完全由公式决定。它与 [[嵌入层把词索引映射为稠密向量]] 一起,构成进入注意力层之前的完整输入表示。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • Transformer模型基础 · 查看原书依据

      由于自注意力机制对输入的顺序没有先验认知,因此位置编码将每个位置映射为特定的向量,并将其与词嵌入相加,从而在保持原始词语语义的同时,提供位置信息。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第1章《Transformer模型基础》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter005_0005.xhtml) - 结论依据:原文先指出自注意力"对输入的顺序没有先验认知",再说明位置编码"将每个位置映射为特定的向量,并将其与词嵌入相加",并交代正弦余弦编码固定、不随训练更新。 - 原始内容:由于自注意力机制对输入的顺序没有先验认知,因此位置编码将每个位置映射为特定的向量,并将其与词嵌入相加,从而在保持原始词语语义的同时,提供位置信息。