← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9864.f · 生成模型:Hunyuan

戏剧文本微调流程

理解等级:中级

要让 GPT-2 生成特定风格,可用《罗密欧与朱丽叶》语料微调:先编码文本并按 512 个标识符切成若干段,用 TensorDataset/DataLoader 组织成 batch_size 为 1 的迭代器;训练 30 个 epoch,Adam 优化器、学习率 1e-5,每个 batch 用 labels=target 算损失并反向更新。生成时从一句莎士比亚风格提示出发循环 500 次,并把输入限制在 1024 个标识符以内。结果已带戏剧口吻,但逻辑与关联仍弱,说明循环次数和语料还不够。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第15章 用GPT-2生成文本 · 查看原书依据

      从生成结果可以看到,模型已经学习到了戏剧文本的特点。不过仔细读起来仍会发现文本缺少逻辑和关联,这是因为循环次数、语料等还不够充分。如果有更多的数据,训练更长的时间,模型应该会有更好的表现。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第15章 用GPT-2生成文本(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter19_0003.xhtml) - 结论依据:15.3.1 至 15.3.5 节给出读取、分段、DataLoader、训练与生成代码,并附生成样例与不足分析。 - 原始内容:从生成结果可以看到,模型已经学习到了戏剧文本的特点。不过仔细读起来仍会发现文本缺少逻辑和关联,这是因为循环次数、语料等还不够充分。如果有更多的数据,训练更长的时间,模型应该会有更好的表现。