知识卡片
词向量比one-hot强在哪
one-hot 是最直接的词表示:词表有 V 个词,就给每个词一个 V 维向量,只有自己那一维是 1。它有两个绕不过去的问题:
- 维度随词表膨胀:十万词的词表就是十万维,每个词只有一个非零元素,存储与计算都极不经济。
- 任意两词距离相同:one-hot 向量两两正交,内积为 0、夹角都是 90°,”猫”和”狗”、”猫”和”微积分”在表示上毫无差别,语义信息为零。
Word2Vec 学到的向量把这两点同时改掉:
| 对比项 | one-hot | Word2Vec 词向量 |
|---|---|---|
| 维度 | 等于词表大小 V | 固定短维度(几十到几百) |
| 取值 | 0/1,极其稀疏 | 稠密实数 |
| 词间关系 | 全部正交,无法度量 | 距离与夹角反映语义相近 |
| 信息来源 | 无,只是编号 | 上下文共现统计 |
关键差别不在”稠密”本身,而在向量是训练出来的:每一维没有人工命名的含义,但整体几何结构承载了词语用法的相似性。这正是原文所说的”不仅考虑了上下文语境信息,还压缩了数据规模”——它同时做了语义编码和降维两件事。
代价:可解释性下降,单看某一维说不出含义;需要语料与训练时间;词表外的词(OOV)没有向量。因此对极小语料或需要严格可解释特征的场景,one-hot 加特征工程仍有其位置。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第14章 Word2Vec和Doc2Vec词向量模型 14.2.1 Doc2Vec模型原理 · 查看原书依据
不管是CBOW模型还是Skip-Gram模型,在训练过程中都考虑到了词的上下文 contest(W),因此得到的词向量维度比之前的 one-hot向量要短很多,另外还有一个特别有利的性质就是:各个词对应的词向量(之前说过,每个词向量表示一个点)之间的距离远近可以反映这些词语义之间的关系。
参考来源
- 位置:《机器学习基础:从入门到求职》第14章《第14章 Word2Vec和Doc2Vec词向量模型》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00017.html)
- 结论依据:原文在引出 Doc2Vec 时对比了两种表示——词向量维度比 one-hot 短很多,且向量距离能反映语义关系,还压缩了数据规模。
- 原始内容:不管是CBOW模型还是Skip-Gram模型,在训练过程中都考虑到了词的上下文 contest(W),因此得到的词向量维度比之前的 one-hot向量要短很多,另外还有一个特别有利的性质就是:各个词对应的词向量(之前说过,每个词向量表示一个点)之间的距离远近可以反映这些词语义之间的关系。