知识卡片
掩码语言建模的自监督
做法:随机遮住或替换输入中的一部分词元(书中示例为 15%),让模型依据左右两侧上下文把原词预测回来。因为答案就藏在输入里,不需要人工标注,属于自监督学习。
为何有用:要猜对被遮的词,模型必须同时用左右两侧信息,于是学到的是双向的上下文表征,而不是单向的语言模型。加上下一句预测(判断两句原始顺序,用 [SEP] 分隔、[CLS] 出标签),表征进一步带上句间关系。产物是通用嵌入,可挂到情感分析、问答、命名实体识别等下游任务上微调。
代价与边界:预训练时见得到 [MASK],微调时却不存在,这个不一致要靠“少遮、混入随机词”来缓解;每句只有一小部分位置提供梯度,样本效率低于逐词预测的因果语言模型;下一句预测后来被证明收益有限,RoBERTa 直接去掉它,靠更大批次和更多数据取胜。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第17章 编码器和解码器风格的Transformer架构 · 查看原书依据
掩码语言建模背后的主要思想是,在输入序列中随机掩蔽(或替换)词元,然后训练模型根据上下文预测原本被掩蔽的词。
参考来源
- 位置:《大模型技术30讲》第17讲 编码器和解码器风格的Transformer架构(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0023.xhtml)
- 结论依据:17.1.1 节与图17-2:说明 BERT 用掩码语言建模与下一句预测预训练,[CLS]/[SEP] 的用途,以及 RoBERTa 的改进(更大批次、更多数据、去除下一句预测)。
- 原始内容:掩码语言建模背后的主要思想是,在输入序列中随机掩蔽(或替换)词元,然后训练模型根据上下文预测原本被掩蔽的词。