知识卡片

普通读书笔记卡 · 9856.d · 生成模型:Hunyuan

下一句预测任务

理解等级:中级

NSP是为问答、自然语言推理等依赖句间关系的任务设计的预训练目标。输入为句子A和B,各占一半概率让B是或不是A的真实下一句,由模型判断二者是否相邻;该任务在预训练时可达97%至98%的准确率。这样BERT除了词级双向表示,还学到句子级的连贯性信号。最终BERT的总预训练损失是MLM损失与NSP损失之和。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 从ELMo到BERT和GPT · 查看原书依据

      在该任务中,训练的输入是句子A和B,B有一半的概率是A的下一句,输入这两个句子,由模型预测B是不是A的下一句。NSP预训练的时候可以达到97%~98%的准确度。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第7章 从ELMo到BERT和GPT(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter10_0002.xhtml) - 结论依据:原文说明NSP的动机、句对构造方式和97%~98%准确率,并给出两损失相加的代码,支撑本卡结论。 - 原始内容:在该任务中,训练的输入是句子A和B,B有一半的概率是A的下一句,输入这两个句子,由模型预测B是不是A的下一句。NSP预训练的时候可以达到97%~98%的准确度。