← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9851.k · 生成模型:Hunyuan

预训练效果对比与迁移

理解等级:高级

同一套模型、同样200个训练样本,使用GloVe预训练嵌入时验证准确率约60%,不用预训练、直接从训练数据学嵌入时只有约50%,十个百分点就是迁移学习带来的收益。这个差距说明在标注稀缺时,词向量的质量上限主要由外部语料决定,而不是由下游分类器的复杂度决定。可视化的另一条信息是训练准确率与验证准确率相差较大,提示小样本下过拟合明显,能拿到60%已相当不错。把这条思路往外推,ELMo、BERT、GPT-2都可以看成预训练嵌入模型的进阶形态,只是它们把“固定向量”换成了“随上下文变化的表示”。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 获取Embedding的方法 · 查看原书依据

      由图2-3可知,不使用预训练模型的验证准确率只有50%左右。结合上一节的实例结果可以看出,使用预训练词嵌入的模型性能优于未使用的模型性能。这就是迁移学习的魔力所在。后面我们介绍的ELMo、BERT、GPT-2等,从某个方面来说都属于一种预训练嵌入模型,充分使用这些模型将大大提升下游任务的性能。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第2章 获取Embedding的方法(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter5_0003.xhtml) - 结论依据:原文对比图2-2与图2-3,指出不用预训练时验证准确率仅50%左右、使用预训练的模型性能更优,并把这一收益称为迁移学习的魔力。 - 原始内容:由图2-3可知,不使用预训练模型的验证准确率只有50%左右。结合上一节的实例结果可以看出,使用预训练词嵌入的模型性能优于未使用的模型性能。这就是迁移学习的魔力所在。后面我们介绍的ELMo、BERT、GPT-2等,从某个方面来说都属于一种预训练嵌入模型,充分使用这些模型将大大提升下游任务的性能。