知识卡片

普通读书笔记卡 · 9864.a · 生成模型:Hunyuan

GPT-2无监督下游处理

理解等级:中级

GPT 处理下游任务要靠有监督微调,GPT-2 则改用无监督方式:不改变模型结构,也不更新权重,只通过改写输入来引导模型。做法是在输入里加入针对任务的引导字符,让模型按提示继续预测。这种零样本式处理能成立,与 GPT-2 容量更大(约 15 亿参数,是 GPT 的十倍)以及训练数据更广、更通用、质量更高有关。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第15章 用GPT-2生成文本 · 查看原书依据

      GPT-2在做下游无监督任务的时候,不改变模型结构,也不更新权重参数,而是通过修改输入方式来实现。对于不同类型的输入,加入一些引导字符,引导GPT-2正确地预测目标。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第15章 用GPT-2生成文本(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter19_0001.xhtml) - 结论依据:15.1 节对比 GPT 与 GPT-2 的下游处理方式,并给出参数规模与数据质量作为原因。 - 原始内容:GPT-2在做下游无监督任务的时候,不改变模型结构,也不更新权重参数,而是通过修改输入方式来实现。对于不同类型的输入,加入一些引导字符,引导GPT-2正确地预测目标。