知识卡片
GPT的建模与架构
GPT系列选择Transformer的Decoder而非Encoder,采用传统语言模型目标:只用上文逐词预测下一个词,是单向自回归的。因此GPT更擅长自然语言生成(NLG),而双向的BERT更擅长自然语言理解(NLU)。GPT把Decoder改造为只保留遮掩多头自注意力,去掉原本的编码器—解码器注意力,使每个位置只能看到自身与左侧词。GPT-2按规模分为Small、Medium等多个版本,隐层从768到1024递增。整体架构中同一水平线的Trm属于同一单元,连线体现词对上文的依赖。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 从ELMo到BERT和GPT · 查看原书依据
GPT模型采用了传统的语言模型进行训练,即使用单词的上文预测单词。因此,GPT更擅长处理自然语言生成任务(NLG),而BERT更擅长处理自然语言理解任务(NLU)。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第7章 从ELMo到BERT和GPT(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter10_0004.xhtml)
- 结论依据:原文指出GPT用Decoder、上文预测下文、NLG与NLU分工、只保留遮掩多头注意力及GPT-2四个版本,构成本卡依据。
- 原始内容:GPT模型采用了传统的语言模型进行训练,即使用单词的上文预测单词。因此,GPT更擅长处理自然语言生成任务(NLG),而BERT更擅长处理自然语言理解任务(NLU)。