知识卡片

普通读书笔记卡 · 9857.b · 生成模型:Hunyuan

XLNet的循环与相对编码

理解等级:中级

XLNet把Transformer-XL的理念融入预训练。其一是循环机制:上一段计算出的表示被缓存固定,处理新段时作为扩展上下文复用,使最大依赖长度随网络深度N成倍增加,并缓解上下文碎片问题,为新段开头的标识符补上必要语境;因不必重复计算,评估速度比原始Transformer快很多。其二是相对位置编码:每个段使用不同的位置编码,用相对而非绝对位置表达词间距离,才能与缓存的跨段记忆兼容。实验显示,在需要长上下文的RACE、SQuAD2.0上换成Transformer-XL主干有明显提升,再加入排列语言模型后各任务普遍获益。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第8章 BERT的优化方法 · 查看原书依据

      引入Transformer-XL的循环机制(Recurrence Mechanism)。 前一个段计算的表示(representation)被修复并缓存,以便在模型处理下一个新段时作为扩展上下文重新利用。 最大可能依赖关系长度增加了N倍,其中N表示网络的深度。 解决了上下文碎片问题

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第8章 BERT的优化方法(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter11_0001.xhtml) - 结论依据:原文列出循环机制缓存、依赖长度增加N倍与评估加速,以及相对位置编码和改进效果,支撑本卡。 - 原始内容:引入Transformer-XL的循环机制(Recurrence Mechanism)。 前一个段计算的表示(representation)被修复并缓存,以便在模型处理下一个新段时作为扩展上下文重新利用。 最大可能依赖关系长度增加了N倍,其中N表示网络的深度。 解决了上下文碎片问题