知识卡片
原始RNN文本生成模型构建
原始 RNN 文本生成器用 Keras 搭建两层 SimpleRNN,每层 800 个单元,激活函数取 ReLU,丢弃率 0.3。三个关键配置决定了它成为多对多生成器:return_sequences=True 让循环层输出一个序列而非只输出末元素,从而实现多对多;TimeDistributed 作为适配器包裹后续密集层,因为密集层不接受序列输入;Softmax 激活则对应生成单热编码字符向量。优化器用 RMSprop(学习率 0.001),损失用多类交叉熵,配合模型检查点、提前停止与定期采样生成文本的回调训练。该模型参数约 200 万,生成文本大致合理却受长期依赖所限,改进方案见[[梯度消失与长期依赖]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 循环神经网络 用于文本生成的原始 RNN——模型与训练 · 查看原书依据
return_sequences=True:循环层的输出变成一个序列,从而实现了我们想要的多对多架构。 否则,它将变成多对一,最后一个元素作为输出。
参考来源
- 位置:《Python深度学习架构实用指南(初译)》第06章《循环神经网络》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/11.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文逐条解释 return_sequences、TimeDistributed 与 Softmax 的作用,支撑这三项配置使网络成为多对多字符生成器的结论。
- 原始内容:return_sequences=True:循环层的输出变成一个序列,从而实现了我们想要的多对多架构。 否则,它将变成多对一,最后一个元素作为输出。