知识卡片
上下文长度与训练代价
n 元语法把上下文长度钉死在 N−1。神经语言模型把「看多远」变成一个架构选择,两条路线取舍不同:
- RNN/LSTM:隐状态把此前所有词元压进一个向量,条件概率依赖整段历史,等效于 n 等于无穷。但循环必须按时间步串行展开,长序列上梯度传播困难,难以并行,训练慢且不易收敛。
- Transformer:用自注意力在固定窗口 n 内做全连接,任意两个位置一步可达,路径短,能吃满 GPU 并行,因此更容易训练、更能扩展到大数据。代价是上下文被硬截断在 n,窗口外完全不可见。
工程上通常把 n 设成足够大:GPT-3 取 n = 2048,已能覆盖绝大多数单篇文本的局部依赖,没必要为极端长度付出全部代价。
判断要点:这里的取舍不是谁更强,而是用多少上下文换多少可训练性。窗口变大的收益要跟注意力的二次复杂度、显存和训练时间对赌;这也解释了为什么后来的长上下文工作总在效率上做文章。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 语言模型和分词 · 查看原书依据
Transformer具有固定的上下文长度n,但更易于训练,并且可以利用GPU的并行性。此外,对于许多应用程序来说,可以将上下文长度n设置为“足够大”,例如,在GPT-3中,使用n=2048。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第2章《语言模型和分词》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter4.xhtml)
- 结论依据:原文该段以「Transformer具有固定的上下文长度n,但更易于训练,并且可以…」为中心展开,本卡的核心判断「n 元语法把上下文长度钉死在 N−1。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:Transformer具有固定的上下文长度n,但更易于训练,并且可以利用GPU的并行性。此外,对于许多应用程序来说,可以将上下文长度n设置为“足够大”,例如,在GPT-3中,使用n=2048。