知识卡片
PTM三类语言模型
预训练模型(PTM)从大量无标注数据中预训练,训练时通常引入语言模型作为目标,所用语言模型可分三类。自回归(AR)模型按从左到右顺序逐词生成,是传统语言模型的联合概率密度估计,天然适合生成任务,但无法利用双向上下文,代表有 ELMo、GPT、GPT-2、GPT-3。自编码(AE)模型借掩码与去噪恢复被遮掩标识符,获得上下文相关的双向表示,代表有 BERT、UniLM、T5、ALBERT。排列(PLM)模型是广义自回归,采样序列的各种排列作为目标、只改变预测顺序而不改变词的位置,代表是 XLNet。三者的核心差别在于联合概率如何分解、以及能否看到双向上下文,这决定了各预训练模型适合的任务类型。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 附录B 语言模型
原书出处 · 1 处
- 附录B 语言模型 · 查看原书依据
预训练模型(Pre-Trained Models,PTM)从大量无标注数据中进行预训练,训练时通常引入语言模型作为训练目标。这些语言模型主要分为三大类。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》附录B 语言模型(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter22.xhtml)
- 结论依据:原文开宗明义指出 PTM 从无标注数据预训练并引入语言模型目标,且语言模型主要分为自回归、自编码、排列三大类,随后逐一给出定义、优缺点与代表模型。
- 原始内容:预训练模型(Pre-Trained Models,PTM)从大量无标注数据中进行预训练,训练时通常引入语言模型作为训练目标。这些语言模型主要分为三大类。