知识卡片

问题卡 · 9686.j · 生成模型:DeepSeek-V4.1-Flash

长上下文:代价与三条路线

理解等级:高级

问题:推理时的可用长度受训练上下文限制;直接把窗口拉长,自注意力的时间与打分矩阵按长度平方增长,前馈层按长度线性增长但受隐藏维度平方拖累,显存还会被缓存占满,往往在硬件上不可行。

三条改进路线: 1. 增加可访问的内存:让模型回看已处理过的上下文并合入预测,等于把历史存起来重复使用,代价是额外的存储与检索开销。 2. 提升外推能力:用较少上下文也能给出较准预测,靠位置编码或训练方式让模型适应更长输入,代价是外推质量不稳定、需要专门设计。 3. 引入段间循环:让信息在分段之间流动,捕捉跨段依赖,代价是训练要跨段反传、显存和实现复杂度上升。

选择:三条路线不互斥。实践中常见局部窗口加全局词元、配合可外推的位置编码,再用缓存复用历史,分别对应上述三条思路的工程化组合。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 Transformer · 查看原书依据

      第一个改进是使用额外的内存,改进后的Transformer可以访问查看过的上下文并将其合并到预测中。第二个改进是设计具有更好的上下文外推能力的模型,使其能够根据较少的可用上下文做出更准确的预测。第三个改进是将循环机制合并到模型中,允许信息在处理过的段之间流动,并捕捉数据中的长期依赖关系。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第3章《Transformer》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml) - 结论依据:原文该段以「第一个改进是使用额外的内存,改进后的Transformer可以访问查…」为中心展开,本卡的核心判断「问题:推理时的可用长度受训练上下文限制;」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:第一个改进是使用额外的内存,改进后的Transformer可以访问查看过的上下文并将其合并到预测中。第二个改进是设计具有更好的上下文外推能力的模型,使其能够根据较少的可用上下文做出更准确的预测。第三个改进是将循环机制合并到模型中,允许信息在处理过的段之间流动,并捕捉数据中的长期依赖关系。