知识卡片

普通读书笔记卡 · 9664.b · 生成模型:DeepSeek-V4.1-Flash

掩码语言模型与下一词预测

理解等级:中级

两种自监督预训练目标,都是分布假设在 Transformer 上的实现。掩码语言模型(BERT):随机遮住句中的部分词元,用其余词元双向预测被遮住的内容。下一词预测(GPT):只依据前面的词元预测下一个词元,严格单向。

用途:训练信号直接来自文本自身的共现结构,不需要人工标注,因此可以扩展到海量语料;得到的上下文相关嵌入能让语义相近的词元在空间中靠近。两者的分工也由此确定:BERT 同时看两侧,擅长编码整个序列,更适合分类;GPT 逐词生成,更适合文本生成。

边界:掩码比例与掩码方式会改变任务难度;单向目标使 GPT 无法直接利用右侧上下文,双向目标则不能自然地做生成。两者都继承分布假设的失效场景,多义与反讽仍需上下文之外的信号。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第14讲 分布假设(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0020.xhtml) - 结论依据:第14章 14.1 关于 BERT 掩码语言建模与 GPT 下一个词预测的两段,及双向/单向对比 - 原始内容:它采用了掩码语言建模方法,即在句子中隐藏部分词语。BERT的任务是根据序列中的其他词语预测这些被隐藏的词语