知识卡片
下一句预测任务
NSP是为问答、自然语言推理等依赖句间关系的任务设计的预训练目标。输入为句子A和B,各占一半概率让B是或不是A的真实下一句,由模型判断二者是否相邻;该任务在预训练时可达97%至98%的准确率。这样BERT除了词级双向表示,还学到句子级的连贯性信号。最终BERT的总预训练损失是MLM损失与NSP损失之和。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 从ELMo到BERT和GPT · 查看原书依据
在该任务中,训练的输入是句子A和B,B有一半的概率是A的下一句,输入这两个句子,由模型预测B是不是A的下一句。NSP预训练的时候可以达到97%~98%的准确度。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第7章 从ELMo到BERT和GPT(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter10_0002.xhtml)
- 结论依据:原文说明NSP的动机、句对构造方式和97%~98%准确率,并给出两损失相加的代码,支撑本卡结论。
- 原始内容:在该任务中,训练的输入是句子A和B,B有一半的概率是A的下一句,输入这两个句子,由模型预测B是不是A的下一句。NSP预训练的时候可以达到97%~98%的准确度。