知识卡片
因果语言建模:预测下一词
因果语言建模(也称标准语言建模、自回归语言建模)把序列概率按链式法则拆成逐词条件概率的乘积,训练目标是让每个位置在给定前文时对正确词元的概率尽量高,损失为各位置负对数概率之和再取平均。
为什么能并行训练:因果掩蔽让第 t 个位置的输出只依赖前 t-1 个词元,一条长度为 n 的序列一次前向就能同时产出 n 个预测。训练时的并行来自掩蔽,推理时的串行来自“下一个词还没生成”,两者并不矛盾。
边界与代价:
- 训练喂真实前缀(教师强制),推理喂模型自己生成的词元,前面一错就沿序列传播,形成暴露偏差。
- 单向建模无法利用右侧上下文,填空与抽取不如双向模型自然。
- 概率高不等于文本好:它优化的是正确词元的似然,而不是“整段文字像人写的”。
GPT-2、GPT-3、GPT-4 这一系全部采用此目标,是当前主流大语言模型的默认选择。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 预训练目标和解码策略 · 查看原书依据
GPT-2(Radford et al,2019)、GPT-3(Brown et al,2020)、GPT-4(OpenAI,2023a)等大型仅解码器模型常用的预训练目标之一是自回归语言建模。经过训练,该模型能根据前一个词元来预测下一个词元。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第4章《预训练目标和解码策略》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter6.xhtml)
- 结论依据:原文该段以「GPT-2(Radford et al,2019)、GPT-3(Br…」为中心展开,本卡的核心判断「因果语言建模(也称标准语言建模、自回归语言建模)把序列概率按链式法则拆成逐词条件」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:GPT-2(Radford et al,2019)、GPT-3(Brown et al,2020)、GPT-4(OpenAI,2023a)等大型仅解码器模型常用的预训练目标之一是自回归语言建模。经过训练,该模型能根据前一个词元来预测下一个词元。