知识卡片
语言上下文窗口限制依赖
固定窗口的神经语言模型将前文词向量映射为下一词分布,紧凑表示使相似上下文能共享统计信息,但窗口以外的历史仍不可直接使用。RNN 用共享参数递归处理变长序列,隐藏状态压缩前文;理论可接收长历史不等于训练中可靠保留长依赖,顺序计算和梯度问题也带来代价。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 2 0 . 4 . 2 基 于 深 度 学 习 算 法 的 语 言 模 型 · 查看原书依据
由于NNLM模型使用了低维紧凑的词向量对上文进行表示,因此解决了词袋模型带来的数据稀疏、语义鸿沟等问题。
参考来源
- 位置:《智能算法导论》第 199 项《20.4.2 基于深度学习算法的语言模型》(源文件:`_epub-src/EPUB/xhtml/chapter20_0010.xhtml`)
- 结论依据:正文对比 NNLM 的固定长度窗口和 RNN 变长输入,指出长期依赖、顺序计算与梯度限制;不保留起源归属或解决稀疏问题的无条件断言。
- 原始内容:NNLM模型使用了低维紧凑的词向量对上文进行表示……要求输入的数据具有固定的长度……RNN模型的优势是可以处理任意长度的输入……但由于需要顺序计算而不是并行,RNN计算较慢。