← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9850.p · 生成模型:Hunyuan

三种语言模型

理解等级:高级

动态预训练模型依据的语言模型目标不同,大致分三类。自回归语言模型(AR LM)根据上文或下文逐词预测当前词,代表 ELMo、GPT、GPT-2,常用 n-gram 简化长文本概率估计。Mask 语言模型(MLM)随机掩藏输入中的部分词再预测它们,类似去噪自编码,代表 BERT、ERNIE、ALBERT。排列语言模型(PLM)对序列做随机排列后再预测,综合了自回归与 Mask 两者的优点,代表 XLNet。理解三者目标函数的差异,就能解释各预训练模型为何在不同任务上各有优劣。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第1章 万物皆可嵌入 · 查看原书依据

      Mask语言模型通过在输入序列中随机掩藏掉一部分单词,然后通过训练来预测这些被掩藏掉的单词。这点与噪音自编码(Denoising Autoencoder)很相似,那些被掩藏掉的单词就相当于在输入侧加入的所谓噪音。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第1章 万物皆可嵌入(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter4_0006.xhtml) - 结论依据:原文分别定义了自回归、Mask 与排列三种语言模型并给出各自代表模型,还指出排列语言模型综合了前两者优点。 - 原始内容:Mask语言模型通过在输入序列中随机掩藏掉一部分单词,然后通过训练来预测这些被掩藏掉的单词。这点与噪音自编码(Denoising Autoencoder)很相似,那些被掩藏掉的单词就相当于在输入侧加入的所谓噪音。