知识卡片
无位置编码保持置换等变
在没有位置编码和固定顺序掩码时,共享投影、注意力与逐词元处理对词元置换保持等变:输入行重排,输出行以同样方式重排。它不是每个输出都保持不变;只有进一步采用对称的全局汇总,才得到相应的置换不变读出。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- · 查看原书依据
An important property of transformers is that they are equivariant to permutations of the input token sequence. This follows from the fact that both tokenwise layers, Fθ, and attention layers, attn, are permutation equivariant:
参考来源
- 位置:《Foundations of Computer Vision (Antonio Torralba, Phillip Isola etc.)》第26章《Transformer》(来源项目:a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/Foundations of Computer Vision (Antonio Torralba, Phillip Isola etc.)/_epub-src/OPS/xhtml/c026.xhtml)
- 结论依据:摘录中关于无位置编码保持置换等变的定义、比较或条件支撑卡片;原书表述不严谨的范围已在覆盖记录逐项限定,不把案例结果外推为普遍结论。
- 原始内容:An important property of transformers is that they are equivariant to permutations of the input token sequence. This follows from the fact that both tokenwise layers, Fθ, and attention layers, attn, are permutation equivariant: