知识卡片
SOP替代NSP
ALBERT认为BERT的NSP过于简单,改用句子顺序预测SOP。两者正样本相同,都取自同一文档中相邻的两句;关键在负样本:NSP从不同文档随机取句,任务太容易,模型只需判断主题是否一致;SOP则取同一文档中两个逆序的句子,迫使模型理解句间连贯性与先后顺序,学到更真实的语篇关系。ALBERT还辅以n-gram掩码(n取1至3)缓解[MASK]之间的独立假设问题,并在训练未出现过拟合时删除dropout。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 BERT的优化方法 · 查看原书依据
SOP的正样本构造和NSP相同,负样本则由“从不同文档选”变成“同一个文档中两个逆序的句子”,这样模型更能学习到语料的连贯性。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第8章 BERT的优化方法(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter11_0002.xhtml)
- 结论依据:原文说明SOP正样本同NSP、负样本改为同文档逆序句以学习连贯性,并列出n-gram掩码与删除dropout等其他优化,支撑本卡。
- 原始内容:SOP的正样本构造和NSP相同,负样本则由“从不同文档选”变成“同一个文档中两个逆序的句子”,这样模型更能学习到语料的连贯性。