← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9856.i · 生成模型:Hunyuan

GPT与GPT-2之别

理解等级:中级

GPT与GPT-2架构基本相同,都采用语言模型与Transformer的Decoder,差异主要在规模和数据:GPT-2层数更深、数据量更大、类型更多,并做了更严格的质量过滤以增强通用性。使用方式也不同:GPT对下游任务采用有监督微调,改造输入格式并加全连接层,具体为分类加起止符、句间关系加分隔符、文本相似性交换句序构造双输入、多项选择把篇章与选项拼接;GPT-2则采用无监督的零样本设置,不改变模型参数与任务结构。从GPT到GPT-2,趋势是减少任务定制、靠规模换取通用能力。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 从ELMo到BERT和GPT · 查看原书依据

      在前面简单介绍过,GPT与GPT-2在架构上没有大的变化,只是在规模、数据量等略有不同,它们之间的异同具体体现在如下方面。 1)结构基本相同,都采用LM模型,使用Transformer的Decoder。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第7章 从ELMo到BERT和GPT(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter10_0004.xhtml) - 结论依据:原文列出GPT与GPT-2结构相同点、规模数据差异、有监督改造与Zero-Shot之别及四类输入改造方法,支撑本卡。 - 原始内容:在前面简单介绍过,GPT与GPT-2在架构上没有大的变化,只是在规模、数据量等略有不同,它们之间的异同具体体现在如下方面。 1)结构基本相同,都采用LM模型,使用Transformer的Decoder。