← 返回刚才阅读的位置

知识卡片

操作参考卡 · 9426.i · 生成模型:Tencent Hunyuan Hy

LSTM文本生成的效果

理解等级:中级

把 LSTM 用于文本生成时,序列长度增大到 160 字符以更好处理长序列,并据此重新生成训练集 X 与 Y。为便于与原始模型对比,结构保持相似:两层循环层各 800 单元,丢弃率 0.4,激活函数用默认的 tanh,优化器仍为 RMSprop(学习率 0.001),损失为多类交叉熵。代价是参数量升至约 790 万,接近原始模型的四倍。在 Tesla K80 上每周期需四到五分钟,约 22 小时训练后,生成器能写出比原始 RNN 更逼真、更有趣的《战争与和平》文本,且字符生成不限于小说,也可用于源代码、HTML、LaTex 等。这种改进源于门控,见[[LSTM的门控机制]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Python深度学习架构实用指南(初译)》第06章《循环神经网络》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/11.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文给出 22 小时训练与更逼真文本的实测结果,并以参数近四倍说明代价,支撑 LSTM 以更高成本换取更好生成的结论。 - 原始内容:每个周期大约需要四到五分钟,才能在 Tesla K80 GPU 上完成。 借助大约 22 个小时的训练,文本生成器借助 LSTM 架构能够编写出更逼真有趣的《战争与和平》脚本。