知识卡片
GPT-2文本生成流程
GPT-2 的文本生成可概括为“加载—提示—采样—循环—结束”五步:用 GPT2Tokenizer 编码提示,用 GPT2LMHeadModel 加载模型,通过 top-k 从预测分布中选下一个词,把新词拼回输入反复前向,遇到结束标志或长度上限时停止。同一套流程既支持直接续写新闻,也可在微调后按戏剧风格生成文本。
结构图:
classDiagram
class GPT2Pipeline {
+tokenizer
+model
+prompt
+generateLoop()
}
class Tokenizer {
+encode()
+decode()
}
class Model {
+GPT2LMHeadModel
+eval()
+forward()
}
class TopKSampling {
+sortProbabilities()
+randomPickTopK()
}
class StopCondition {
+endOfTextToken
+maxLength
}
class DirectGeneration {
+newsText
}
class FineTunedGeneration {
+dramaText
}
GPT2Pipeline --> Tokenizer : encodePrompt
GPT2Pipeline --> Model : loadAndForward
Model --> TopKSampling : nextToken
TopKSampling --> StopCondition : append
GPT2Pipeline --> DirectGeneration : beforeFineTune
GPT2Pipeline --> FineTunedGeneration : afterFineTune
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第15章 用GPT-2生成文本 · 查看原书依据
接下来,我们将使用一些戏剧文本对GPT-2进行微调,这里以莎士比亚的戏剧作品《罗密欧与朱丽叶》作为训练样本。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第15章 用GPT-2生成文本(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter19_0003.xhtml)
- 结论依据:15.2 与 15.3 节的生成代码结构一致,区别只在是否先用语料微调模型。
- 原始内容:接下来,我们将使用一些戏剧文本对GPT-2进行微调,这里以莎士比亚的戏剧作品《罗密欧与朱丽叶》作为训练样本。