返回主题:深度表示与任务网络

知识卡片

普通读书笔记卡 · 3795.a

语言上下文窗口限制依赖

理解等级:中级

固定窗口的神经语言模型将前文词向量映射为下一词分布,紧凑表示使相似上下文能共享统计信息,但窗口以外的历史仍不可直接使用。RNN 用共享参数递归处理变长序列,隐藏状态压缩前文;理论可接收长历史不等于训练中可靠保留长依赖,顺序计算和梯度问题也带来代价。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《智能算法导论》第 199 项《20.4.2 基于深度学习算法的语言模型》(源文件:`_epub-src/EPUB/xhtml/chapter20_0010.xhtml`) - 结论依据:正文对比 NNLM 的固定长度窗口和 RNN 变长输入,指出长期依赖、顺序计算与梯度限制;不保留起源归属或解决稀疏问题的无条件断言。 - 原始内容:NNLM模型使用了低维紧凑的词向量对上文进行表示……要求输入的数据具有固定的长度……RNN模型的优势是可以处理任意长度的输入……但由于需要顺序计算而不是并行,RNN计算较慢。