知识卡片
XL与Reformer对比
结构图对比两个改进方向:Transformer-XL用段级循环与相对位置编码突破固定上下文,代价是引入缓存与位置重构;Reformer则瞄准计算量与内存,用局部敏感哈希把全注意力降为近邻计算,用可逆残差网络免于保存中间激活。二者都源于vanilla Transformer的瓶颈,但前者解决看得远,后者解决算得起、存得下。实际应用中可按需组合:长依赖选XL,超大序列与显存受限选Reformer。
结构图:
classDiagram
class VanillaTransformer {
+FixedLengthContext
+AbsolutePositionEncoding
+FullAttention O(L2)
}
class TransformerXL {
+SegmentRecurrence
+RelativePositionalEncoding
+MemoryCache
+Dependency O(NxL)
}
class Reformer {
+LocalitySensitiveHashing
+ReversibleResidualNetwork
+Attention O(LlogL)
}
VanillaTransformer <|-- TransformerXL : long dependency
VanillaTransformer <|-- Reformer : memory and speed
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 注意力机制 · 查看原书依据
Transformer-XL是Google在2019年提出的一种语言模型训练方法,它有两个创新点:循环机制(Recurrence Mechanism)和相对位置编码(Relative Positional Encoding),以克服vanilla Transformer捕捉长距离依赖的缺点
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第5章 注意力机制(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter8_0005.xhtml)
- 结论依据:原文指出Transformer-XL的两个创新点是循环机制与相对位置编码,Reformer的两个核心是LSH注意力与可逆Transformer,目标都是降低资源使用并增加输入长度。
- 原始内容:Transformer-XL是Google在2019年提出的一种语言模型训练方法,它有两个创新点:循环机制(Recurrence Mechanism)和相对位置编码(Relative Positional Encoding),以克服vanilla Transformer捕捉长距离依赖的缺点