← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9687.b · 生成模型:DeepSeek-V4.1-Flash

因果语言建模:预测下一词

理解等级:中级

因果语言建模(也称标准语言建模、自回归语言建模)把序列概率按链式法则拆成逐词条件概率的乘积,训练目标是让每个位置在给定前文时对正确词元的概率尽量高,损失为各位置负对数概率之和再取平均。

为什么能并行训练:因果掩蔽让第 t 个位置的输出只依赖前 t-1 个词元,一条长度为 n 的序列一次前向就能同时产出 n 个预测。训练时的并行来自掩蔽,推理时的串行来自“下一个词还没生成”,两者并不矛盾。

边界与代价:

  • 训练喂真实前缀(教师强制),推理喂模型自己生成的词元,前面一错就沿序列传播,形成暴露偏差。
  • 单向建模无法利用右侧上下文,填空与抽取不如双向模型自然。
  • 概率高不等于文本好:它优化的是正确词元的似然,而不是“整段文字像人写的”。

GPT-2、GPT-3、GPT-4 这一系全部采用此目标,是当前主流大语言模型的默认选择。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第4章 预训练目标和解码策略 · 查看原书依据

      GPT-2(Radford et al,2019)、GPT-3(Brown et al,2020)、GPT-4(OpenAI,2023a)等大型仅解码器模型常用的预训练目标之一是自回归语言建模。经过训练,该模型能根据前一个词元来预测下一个词元。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第4章《预训练目标和解码策略》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter6.xhtml) - 结论依据:原文该段以「GPT-2(Radford et al,2019)、GPT-3(Br…」为中心展开,本卡的核心判断「因果语言建模(也称标准语言建模、自回归语言建模)把序列概率按链式法则拆成逐词条件」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:GPT-2(Radford et al,2019)、GPT-3(Brown et al,2020)、GPT-4(OpenAI,2023a)等大型仅解码器模型常用的预训练目标之一是自回归语言建模。经过训练,该模型能根据前一个词元来预测下一个词元。