知识卡片
段间循环与压缩记忆
Transformer-XL:把长文本切成段,但段与段之间不再独立。第 n 层处理当前段时,键和值取自“上一段的该层状态 + 当前段”,查询只用当前段;隐藏状态被缓存复用,段首词元因此能看到前文以前看不到的上下文,也避免了重叠段从头重算。段间绝对位置会重复,所以配合相对位置编码。
压缩 Transformer:内存不能无限增长,于是每层维护一个先进先出的记忆队列,最老的激活按压缩率做池化或卷积,映射成更少的元素。为了让压缩不丢关键信息,训练时额外加两个损失:一个要求能从压缩表示重建原记忆,另一个要求压缩后的注意力分布仍接近原分布。
差别:前者保留精确历史,显存随段数线性增长;后者用有损压缩换更长的时间跨度,压缩算子和额外损失是主要成本。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 Transformer · 查看原书依据
它通过复用段之间的隐藏状态并添加额外的内存机制来达到这一目的。这使得模型能够连续使用先前段中的隐藏状态,并将其注意力扩展到更长的上下文中,如图3-4所示。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第3章《Transformer》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml)
- 结论依据:原文该段以「它通过复用段之间的隐藏状态并添加额外的内存机制来达到这一目的。这使得…」为中心展开,本卡的核心判断「Transformer-XL:」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:它通过复用段之间的隐藏状态并添加额外的内存机制来达到这一目的。这使得模型能够连续使用先前段中的隐藏状态,并将其注意力扩展到更长的上下文中,如图3-4所示。