知识卡片

操作参考卡 · 9426.n · 生成模型:Tencent Hunyuan Hy

双向LSTM情感分类

理解等级:中级

用双向 LSTM 对 IMDb 电影评论做情感分类(1 为正、0 为负)时,先处理变长序列:只看前 5000 个高频词、排除前 10 个最高频词,用 2 表示被过滤掉的词,再用 pad_sequences 把评论补齐或截断到 200 词。若对 5000 维做单热编码会产生 3000 维稀疏向量、训练过慢,因此改用嵌入层把词索引映射为 128 维密集向量。随后用 Bidirectional 包裹一个 128 单元的 LSTM(输入与循环丢弃率各 0.2),最后接 sigmoid 单单元 Dense 输出,优化器 RMSprop(0.001),损失用二分类交叉熵。测试集作验证并提前停止,最终测试精度达 89.6%。机制见[[双向循环网络BRNN]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 循环神经网络 用于情感分类的双向 RNN · 查看原书依据

      现在,我们有 200 个单词的输入序列,每个单词由0至4999的整数表示。 我们可以进行传统的单热编码,但是所生成的 3,000 维稀疏输出将使训练相应的 RNN 模型过慢。 取而代之的是,我们执行单词嵌入以将单词索引转换为较低维的密集向量。

    参考来源

    - 位置:《Python深度学习架构实用指南(初译)》第06章《循环神经网络》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/11.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文说明以词嵌入替代高维单热编码并用 Bidirectional 包裹 LSTM,支撑该流程使情感分类达到 89.6% 精度的结论。 - 原始内容:现在,我们有 200 个单词的输入序列,每个单词由0至4999的整数表示。 我们可以进行传统的单热编码,但是所生成的 3,000 维稀疏输出将使训练相应的 RNN 模型过慢。 取而代之的是,我们执行单词嵌入以将单词索引转换为较低维的密集向量。