知识卡片

普通读书笔记卡 · 9856.g · 生成模型:Hunyuan

GPT的建模与架构

理解等级:中级

GPT系列选择Transformer的Decoder而非Encoder,采用传统语言模型目标:只用上文逐词预测下一个词,是单向自回归的。因此GPT更擅长自然语言生成(NLG),而双向的BERT更擅长自然语言理解(NLU)。GPT把Decoder改造为只保留遮掩多头自注意力,去掉原本的编码器—解码器注意力,使每个位置只能看到自身与左侧词。GPT-2按规模分为Small、Medium等多个版本,隐层从768到1024递增。整体架构中同一水平线的Trm属于同一单元,连线体现词对上文的依赖。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 从ELMo到BERT和GPT · 查看原书依据

      GPT模型采用了传统的语言模型进行训练,即使用单词的上文预测单词。因此,GPT更擅长处理自然语言生成任务(NLG),而BERT更擅长处理自然语言理解任务(NLU)。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第7章 从ELMo到BERT和GPT(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter10_0004.xhtml) - 结论依据:原文指出GPT用Decoder、上文预测下文、NLG与NLU分工、只保留遮掩多头注意力及GPT-2四个版本,构成本卡依据。 - 原始内容:GPT模型采用了传统的语言模型进行训练,即使用单词的上文预测单词。因此,GPT更擅长处理自然语言生成任务(NLG),而BERT更擅长处理自然语言理解任务(NLU)。