知识卡片
长上下文:代价与三条路线
问题:推理时的可用长度受训练上下文限制;直接把窗口拉长,自注意力的时间与打分矩阵按长度平方增长,前馈层按长度线性增长但受隐藏维度平方拖累,显存还会被缓存占满,往往在硬件上不可行。
三条改进路线: 1. 增加可访问的内存:让模型回看已处理过的上下文并合入预测,等于把历史存起来重复使用,代价是额外的存储与检索开销。 2. 提升外推能力:用较少上下文也能给出较准预测,靠位置编码或训练方式让模型适应更长输入,代价是外推质量不稳定、需要专门设计。 3. 引入段间循环:让信息在分段之间流动,捕捉跨段依赖,代价是训练要跨段反传、显存和实现复杂度上升。
选择:三条路线不互斥。实践中常见局部窗口加全局词元、配合可外推的位置编码,再用缓存复用历史,分别对应上述三条思路的工程化组合。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 Transformer · 查看原书依据
第一个改进是使用额外的内存,改进后的Transformer可以访问查看过的上下文并将其合并到预测中。第二个改进是设计具有更好的上下文外推能力的模型,使其能够根据较少的可用上下文做出更准确的预测。第三个改进是将循环机制合并到模型中,允许信息在处理过的段之间流动,并捕捉数据中的长期依赖关系。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第3章《Transformer》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml)
- 结论依据:原文该段以「第一个改进是使用额外的内存,改进后的Transformer可以访问查…」为中心展开,本卡的核心判断「问题:推理时的可用长度受训练上下文限制;」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:第一个改进是使用额外的内存,改进后的Transformer可以访问查看过的上下文并将其合并到预测中。第二个改进是设计具有更好的上下文外推能力的模型,使其能够根据较少的可用上下文做出更准确的预测。第三个改进是将循环机制合并到模型中,允许信息在处理过的段之间流动,并捕捉数据中的长期依赖关系。