知识卡片
静态词嵌入的一词多义困境
word2vec、GloVe这类词嵌入是静态的:模型训练完成后,每个词对应一个固定向量,无论出现在什么句子里都拿同一个表示。问题在于词义本就依赖语境,“苹果”在水果语境和手机语境里指向完全不同的对象,一个向量无法同时装下两种含义。word2vec虽然把独热编码压缩成了语义更丰富的稠密向量,相近词还能在空间上聚集,却恰恰卡在一词多义这道坎上。这个局限不是向量维度不够,而是表示方式本身缺少“看上下文再决定”的机制。要突破它,就得让同一个词在不同句子里得到不同的向量。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 从Word Embedding到ELMo · 查看原书依据
Word Embedding本质是一种静态的嵌入方法,所谓静态指的是模型训练好之后每个单词的表达就固定了,在后续使用时,无论新句子的上下文单词是什么,这个单词的Word Embedding都不会随着上下文场景的变化而变化。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第6章 从Word Embedding到ELMo(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter9.xhtml)
- 结论依据:原文把Word Embedding定义为训练后表达即固定、不随上下文变化的静态嵌入,并指出这种局限在很多场景下是致命的。
- 原始内容:Word Embedding本质是一种静态的嵌入方法,所谓静态指的是模型训练好之后每个单词的表达就固定了,在后续使用时,无论新句子的上下文单词是什么,这个单词的Word Embedding都不会随着上下文场景的变化而变化。