知识卡片
双向LSTM情感分类
用双向 LSTM 对 IMDb 电影评论做情感分类(1 为正、0 为负)时,先处理变长序列:只看前 5000 个高频词、排除前 10 个最高频词,用 2 表示被过滤掉的词,再用 pad_sequences 把评论补齐或截断到 200 词。若对 5000 维做单热编码会产生 3000 维稀疏向量、训练过慢,因此改用嵌入层把词索引映射为 128 维密集向量。随后用 Bidirectional 包裹一个 128 单元的 LSTM(输入与循环丢弃率各 0.2),最后接 sigmoid 单单元 Dense 输出,优化器 RMSprop(0.001),损失用二分类交叉熵。测试集作验证并提前停止,最终测试精度达 89.6%。机制见[[双向循环网络BRNN]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 循环神经网络 用于情感分类的双向 RNN · 查看原书依据
现在,我们有 200 个单词的输入序列,每个单词由0至4999的整数表示。 我们可以进行传统的单热编码,但是所生成的 3,000 维稀疏输出将使训练相应的 RNN 模型过慢。 取而代之的是,我们执行单词嵌入以将单词索引转换为较低维的密集向量。
参考来源
- 位置:《Python深度学习架构实用指南(初译)》第06章《循环神经网络》(源文件:`../../book-sources/extracted/Python深度学习架构实用指南(初译)/_epub-src/OEBPS/Text/11.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文说明以词嵌入替代高维单热编码并用 Bidirectional 包裹 LSTM,支撑该流程使情感分类达到 89.6% 精度的结论。
- 原始内容:现在,我们有 200 个单词的输入序列,每个单词由0至4999的整数表示。 我们可以进行传统的单热编码,但是所生成的 3,000 维稀疏输出将使训练相应的 RNN 模型过慢。 取而代之的是,我们执行单词嵌入以将单词索引转换为较低维的密集向量。