知识卡片
打乱词序后位置编码仍区分次序
验证位置编码是否真的起作用,可以用一个对照实验:同一组词,一份按原顺序输入,一份随机打乱后输入,两者都经过”词嵌入 + 位置编码”,再送入简化的 Transformer,比较中间表示与最终输出。
如果模型完全无视顺序,打乱前后每个词的表示应当只是排列不同、取值相同;实际结果里,带位置编码的嵌入输出出现了差异,模型的最终输出也随之不同。这说明位置向量确实把”第几位”写进了表示,打乱后同一词在不同位置拿到了不同的编码,模型的判断因此改变。这与 [[正弦位置编码给词注入顺序感]] 的机制描述相互印证。
需要留意这个实验能证明什么、不能证明什么。它能证明位置信息进入了表示并对输出产生了影响;它不能证明模型由此恢复了正确语义,因为随机初始化的简化模型并未经过语言建模训练,输出差异本身不等于语义正确。原文把这一对比表述为”验证位置编码在保持序列语义一致性方面的作用”,准确的读法是:位置编码为语义一致性提供了必要条件,而不是充分条件。真正让顺序产生意义的是后续在海量文本上的训练。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Transformer模型基础 · 查看原书依据
由于Transformer模型不具备内置的顺序信息,因此位置编码通过为每个词提供唯一的位置信息,使模型能够捕捉到序列中词与词之间的相对位置关系。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第1章《Transformer模型基础》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter005_0005.xhtml)
- 结论依据:原文描述用生成无序输入、对比原始与打乱序列的输出差异来验证位置编码的作用,本卡据此界定该对比实验能支持的结论边界。
- 原始内容:由于Transformer模型不具备内置的顺序信息,因此位置编码通过为每个词提供唯一的位置信息,使模型能够捕捉到序列中词与词之间的相对位置关系。