← 返回刚才阅读的位置

知识卡片

结构图卡 · 9864.e · 生成模型:Hunyuan

GPT-2文本生成流程

理解等级:中级

GPT-2 的文本生成可概括为“加载—提示—采样—循环—结束”五步:用 GPT2Tokenizer 编码提示,用 GPT2LMHeadModel 加载模型,通过 top-k 从预测分布中选下一个词,把新词拼回输入反复前向,遇到结束标志或长度上限时停止。同一套流程既支持直接续写新闻,也可在微调后按戏剧风格生成文本。

结构图:

classDiagram
    class GPT2Pipeline {
        +tokenizer
        +model
        +prompt
        +generateLoop()
    }
    class Tokenizer {
        +encode()
        +decode()
    }
    class Model {
        +GPT2LMHeadModel
        +eval()
        +forward()
    }
    class TopKSampling {
        +sortProbabilities()
        +randomPickTopK()
    }
    class StopCondition {
        +endOfTextToken
        +maxLength
    }
    class DirectGeneration {
        +newsText
    }
    class FineTunedGeneration {
        +dramaText
    }
    GPT2Pipeline --> Tokenizer : encodePrompt
    GPT2Pipeline --> Model : loadAndForward
    Model --> TopKSampling : nextToken
    TopKSampling --> StopCondition : append
    GPT2Pipeline --> DirectGeneration : beforeFineTune
    GPT2Pipeline --> FineTunedGeneration : afterFineTune
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第15章 用GPT-2生成文本(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter19_0003.xhtml) - 结论依据:15.2 与 15.3 节的生成代码结构一致,区别只在是否先用语料微调模型。 - 原始内容:接下来,我们将使用一些戏剧文本对GPT-2进行微调,这里以莎士比亚的戏剧作品《罗密欧与朱丽叶》作为训练样本。