← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9855 · 生成模型:Hunyuan

静态词嵌入的一词多义困境

理解等级:初级

word2vec、GloVe这类词嵌入是静态的:模型训练完成后,每个词对应一个固定向量,无论出现在什么句子里都拿同一个表示。问题在于词义本就依赖语境,“苹果”在水果语境和手机语境里指向完全不同的对象,一个向量无法同时装下两种含义。word2vec虽然把独热编码压缩成了语义更丰富的稠密向量,相近词还能在空间上聚集,却恰恰卡在一词多义这道坎上。这个局限不是向量维度不够,而是表示方式本身缺少“看上下文再决定”的机制。要突破它,就得让同一个词在不同句子里得到不同的向量。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 从Word Embedding到ELMo · 查看原书依据

      Word Embedding本质是一种静态的嵌入方法,所谓静态指的是模型训练好之后每个单词的表达就固定了,在后续使用时,无论新句子的上下文单词是什么,这个单词的Word Embedding都不会随着上下文场景的变化而变化。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第6章 从Word Embedding到ELMo(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter9.xhtml) - 结论依据:原文把Word Embedding定义为训练后表达即固定、不随上下文变化的静态嵌入,并指出这种局限在很多场景下是致命的。 - 原始内容:Word Embedding本质是一种静态的嵌入方法,所谓静态指的是模型训练好之后每个单词的表达就固定了,在后续使用时,无论新句子的上下文单词是什么,这个单词的Word Embedding都不会随着上下文场景的变化而变化。