← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9856.j · 生成模型:Hunyuan

GPT-3范式

理解等级:高级

GPT-3延续单向语言模型训练,把参数规模推到1750亿并用45TB数据训练,聚焦更通用的NLP模型,在翻译、新闻生成等基准上取得当时的SOTA,图像补全也无需微调。它带来两个转变:从语言走向图像,以及用更少领域数据甚至零微调解决问题。与传统预训练模型必须微调不同,GPT-3把下游设置分为四类:微调FT用海量标注更新权重但样本外能力弱且GPT-3实际不用;Few-Shot在推理时给少量示例但不更新权重;One-Shot只给一个示例;Zero-Shot仅给自然语言任务说明。这种上下文学习让同一模型不改造结构即可适配多任务。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第7章 从ELMo到BERT和GPT · 查看原书依据

      GPT-3依旧延续GPT的单向语言模型训练方式,只是把模型尺寸增大到了1750亿,并且使用45TB数据进行训练。同时,GPT-3主要聚焦于更通用的NLP模型,在一系列基准测试和特定领域的自然语言处理任务(从语言翻译到生成新闻)中达到最新的SOTA结果。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第7章 从ELMo到BERT和GPT(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter10_0005.xhtml) - 结论依据:原文给出GPT-3规模与SOTA、两个转变及FT/Few-Shot/One-Shot/Zero-Shot四种设置的定义,支撑本卡的权衡分析。 - 原始内容:GPT-3依旧延续GPT的单向语言模型训练方式,只是把模型尺寸增大到了1750亿,并且使用45TB数据进行训练。同时,GPT-3主要聚焦于更通用的NLP模型,在一系列基准测试和特定领域的自然语言处理任务(从语言翻译到生成新闻)中达到最新的SOTA结果。