知识卡片
掩蔽语言建模:双向填空
掩蔽语言建模先随机挑一部分位置,替换成特殊掩蔽词元或跨度,再让模型根据左右两侧上下文还原被遮住的内容,损失只在这些被遮位置计算。两侧可见,所以学到的是双向表征,适合理解类任务。
80/10/10 的比例针对一个具体矛盾:若被选位置全填 [MASK],预训练时到处是该符号、微调时一个也见不到,分布就错位。BERT 的做法是被选位置中 80% 换 [MASK]、10% 换随机词、10% 保持原样——换随机词逼模型靠上下文纠错、不能盲信输入,保持原样则让表征贴近真实观测。代价是仅约 15% 的位置产生损失,监督稀疏、训练效率不高。
后继改进都在补这个短板:RoBERTa 延长训练、加大批量与学习率,并删掉下一句预测;ELECTRA 改成判断每个词元是否被替换过,每个位置都有信号,更省算力;XL-Net 用排列式自回归,让每个位置都能利用双向上下文。
局限:没有左到右分解,不能直接采样生成,通常要接任务头。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 预训练目标和解码策略 · 查看原书依据
为了实现掩蔽词预测,该模型通过将80%的输入词替换为[MASK]词元,将10%替换为随机字,保持10%不变,从而预测掩蔽词。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第4章《预训练目标和解码策略》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter6.xhtml)
- 结论依据:原文该段以「为了实现掩蔽词预测,该模型通过将80%的输入词替换为[MASK]词元…」为中心展开,本卡的核心判断「掩蔽语言建模先随机挑一部分位置,替换成特殊掩蔽词元或跨度,再让模型根据左右两侧上」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:为了实现掩蔽词预测,该模型通过将80%的输入词替换为[MASK]词元,将10%替换为随机字,保持10%不变,从而预测掩蔽词。