知识卡片
GPT与GPT-2之别
GPT与GPT-2架构基本相同,都采用语言模型与Transformer的Decoder,差异主要在规模和数据:GPT-2层数更深、数据量更大、类型更多,并做了更严格的质量过滤以增强通用性。使用方式也不同:GPT对下游任务采用有监督微调,改造输入格式并加全连接层,具体为分类加起止符、句间关系加分隔符、文本相似性交换句序构造双输入、多项选择把篇章与选项拼接;GPT-2则采用无监督的零样本设置,不改变模型参数与任务结构。从GPT到GPT-2,趋势是减少任务定制、靠规模换取通用能力。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 从ELMo到BERT和GPT · 查看原书依据
在前面简单介绍过,GPT与GPT-2在架构上没有大的变化,只是在规模、数据量等略有不同,它们之间的异同具体体现在如下方面。 1)结构基本相同,都采用LM模型,使用Transformer的Decoder。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第7章 从ELMo到BERT和GPT(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter10_0004.xhtml)
- 结论依据:原文列出GPT与GPT-2结构相同点、规模数据差异、有监督改造与Zero-Shot之别及四类输入改造方法,支撑本卡。
- 原始内容:在前面简单介绍过,GPT与GPT-2在架构上没有大的变化,只是在规模、数据量等略有不同,它们之间的异同具体体现在如下方面。 1)结构基本相同,都采用LM模型,使用Transformer的Decoder。