知识卡片
词嵌入与神经语言模型
神经语言模型用词的分布式表示克服维数灾难:它既能识别两个词相似,又不丧失把每个词编码为彼此不同的能力。模型为每个词学习一个低维向量,语义相近或常出现在相似上下文中的词在这个空间中彼此接近,从而使包含cat的句子能帮助模型预测包含dog的句子。这种表示被称为词嵌入,可理解为把词表大小维度上的one-hot点嵌入到较低维特征空间;原始空间中任意两词欧氏距离相同,而嵌入空间保留语义相似性。这一思想不限于神经网络,图模型也可用多个潜变量实现分布式表示;卷积网络的隐藏层同样可视为图像嵌入。正因为自然语言原本不在实值向量空间中,NLP从业者才格外看重嵌入带来的表示质变。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第12章 应用
原书出处 · 1 处
- 第12章 应用 · 查看原书依据
不同于基于类的n-gram模型,神经语言模型在能够识别两个相似的词,并且不丧失将每个词编码为彼此不同的能力。神经语言模型共享一个词(及其上下文)和其他类似词(和上下文之间)的统计强度。
参考来源
- 位置:《深度学习》第12章 应用(源文件:extracted/深度学习/_epub-src/text/part0005_split_000.html)
- 结论依据:12.4.2说明NLM用分布式表示在相似词间共享统计强度,并给出词嵌入的几何解释与跨领域类比。
- 原始内容:不同于基于类的n-gram模型,神经语言模型在能够识别两个相似的词,并且不丧失将每个词编码为彼此不同的能力。神经语言模型共享一个词(及其上下文)和其他类似词(和上下文之间)的统计强度。