知识卡片
字符级文本生成的数据准备
字符级文本生成把语言建模变成“给定字符序列预测下一个字符”的任务,数据准备是关键一步。以《战争与和平》为例,先把文本转为小写、统计出 300 多万字符与 57 个唯一字符。在同步多对多架构下,模型接受固定长度的字符序列并同时生成等长序列,只是输出相对输入偏移一个字符:设序列长度为 5,输入 learn 对应输出 earni。对整段文本按长度切分并错位构造样本,再因神经网络只处理数字,用单热(one-hot)编码把 57 个字符映射为 0–56 的索引向量,组成形状为(样本数,序列长度,特征维数)的张量 X 与 Y 供 Keras 训练。模型的循环层配置见[[原始RNN文本生成模型构建]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 循环神经网络 用于文本生成的原始 RNN——数据准备 · 查看原书依据
回想一下,在同步多对多架构中,该模型接受序列并同时生成序列。 在我们的例子中,我们可以给模型提供固定长度的字符序列。 输出序列的长度与输入序列的长度相同,并且一个字符从其输入序列偏移。
参考来源
- 位置:《Python深度学习架构实用指南(初译)》第06章《循环神经网络》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/11.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文说明用错位一字符的等长序列并单热编码构造 X/Y,支撑字符级生成需按固定长度切分并数字化的结论。
- 原始内容:回想一下,在同步多对多架构中,该模型接受序列并同时生成序列。 在我们的例子中,我们可以给模型提供固定长度的字符序列。 输出序列的长度与输入序列的长度相同,并且一个字符从其输入序列偏移。