知识卡片

操作参考卡 · 9426.f · 生成模型:Tencent Hunyuan Hy

字符级文本生成的数据准备

理解等级:中级

字符级文本生成把语言建模变成“给定字符序列预测下一个字符”的任务,数据准备是关键一步。以《战争与和平》为例,先把文本转为小写、统计出 300 多万字符与 57 个唯一字符。在同步多对多架构下,模型接受固定长度的字符序列并同时生成等长序列,只是输出相对输入偏移一个字符:设序列长度为 5,输入 learn 对应输出 earni。对整段文本按长度切分并错位构造样本,再因神经网络只处理数字,用单热(one-hot)编码把 57 个字符映射为 0–56 的索引向量,组成形状为(样本数,序列长度,特征维数)的张量 X 与 Y 供 Keras 训练。模型的循环层配置见[[原始RNN文本生成模型构建]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python深度学习架构实用指南(初译)》第06章《循环神经网络》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/11.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文说明用错位一字符的等长序列并单热编码构造 X/Y,支撑字符级生成需按固定长度切分并数字化的结论。 - 原始内容:回想一下,在同步多对多架构中,该模型接受序列并同时生成序列。 在我们的例子中,我们可以给模型提供固定长度的字符序列。 输出序列的长度与输入序列的长度相同,并且一个字符从其输入序列偏移。