← 返回刚才阅读的位置

知识卡片

结构图卡 · 9854.aa · 生成模型:Hunyuan

XL与Reformer对比

理解等级:高级

结构图对比两个改进方向:Transformer-XL用段级循环与相对位置编码突破固定上下文,代价是引入缓存与位置重构;Reformer则瞄准计算量与内存,用局部敏感哈希把全注意力降为近邻计算,用可逆残差网络免于保存中间激活。二者都源于vanilla Transformer的瓶颈,但前者解决看得远,后者解决算得起、存得下。实际应用中可按需组合:长依赖选XL,超大序列与显存受限选Reformer。

结构图:

classDiagram
    class VanillaTransformer {
        +FixedLengthContext
        +AbsolutePositionEncoding
        +FullAttention O(L2)
    }
    class TransformerXL {
        +SegmentRecurrence
        +RelativePositionalEncoding
        +MemoryCache
        +Dependency O(NxL)
    }
    class Reformer {
        +LocalitySensitiveHashing
        +ReversibleResidualNetwork
        +Attention O(LlogL)
    }
    VanillaTransformer <|-- TransformerXL : long dependency
    VanillaTransformer <|-- Reformer : memory and speed
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 注意力机制 · 查看原书依据

      Transformer-XL是Google在2019年提出的一种语言模型训练方法,它有两个创新点:循环机制(Recurrence Mechanism)和相对位置编码(Relative Positional Encoding),以克服vanilla Transformer捕捉长距离依赖的缺点

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第5章 注意力机制(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter8_0005.xhtml) - 结论依据:原文指出Transformer-XL的两个创新点是循环机制与相对位置编码,Reformer的两个核心是LSH注意力与可逆Transformer,目标都是降低资源使用并增加输入长度。 - 原始内容:Transformer-XL是Google在2019年提出的一种语言模型训练方法,它有两个创新点:循环机制(Recurrence Mechanism)和相对位置编码(Relative Positional Encoding),以克服vanilla Transformer捕捉长距离依赖的缺点