知识卡片
掩码语言模型与下一词预测
两种自监督预训练目标,都是分布假设在 Transformer 上的实现。掩码语言模型(BERT):随机遮住句中的部分词元,用其余词元双向预测被遮住的内容。下一词预测(GPT):只依据前面的词元预测下一个词元,严格单向。
用途:训练信号直接来自文本自身的共现结构,不需要人工标注,因此可以扩展到海量语料;得到的上下文相关嵌入能让语义相近的词元在空间中靠近。两者的分工也由此确定:BERT 同时看两侧,擅长编码整个序列,更适合分类;GPT 逐词生成,更适合文本生成。
边界:掩码比例与掩码方式会改变任务难度;单向目标使 GPT 无法直接利用右侧上下文,双向目标则不能自然地做生成。两者都继承分布假设的失效场景,多义与反讽仍需上下文之外的信号。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第14章 分布假设 · 查看原书依据
它采用了掩码语言建模方法,即在句子中隐藏部分词语。BERT的任务是根据序列中的其他词语预测这些被隐藏的词语
参考来源
- 位置:《大模型技术30讲》第14讲 分布假设(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0020.xhtml)
- 结论依据:第14章 14.1 关于 BERT 掩码语言建模与 GPT 下一个词预测的两段,及双向/单向对比
- 原始内容:它采用了掩码语言建模方法,即在句子中隐藏部分词语。BERT的任务是根据序列中的其他词语预测这些被隐藏的词语