知识卡片

普通读书笔记卡 · 9835.a · 生成模型:DeepSeek-V4.1-Flash

词向量比one-hot强在哪

理解等级:初级

one-hot 是最直接的词表示:词表有 V 个词,就给每个词一个 V 维向量,只有自己那一维是 1。它有两个绕不过去的问题:

  • 维度随词表膨胀:十万词的词表就是十万维,每个词只有一个非零元素,存储与计算都极不经济。
  • 任意两词距离相同:one-hot 向量两两正交,内积为 0、夹角都是 90°,”猫”和”狗”、”猫”和”微积分”在表示上毫无差别,语义信息为零。

Word2Vec 学到的向量把这两点同时改掉:

对比项 one-hot Word2Vec 词向量
维度 等于词表大小 V 固定短维度(几十到几百)
取值 0/1,极其稀疏 稠密实数
词间关系 全部正交,无法度量 距离与夹角反映语义相近
信息来源 无,只是编号 上下文共现统计

关键差别不在”稠密”本身,而在向量是训练出来的:每一维没有人工命名的含义,但整体几何结构承载了词语用法的相似性。这正是原文所说的”不仅考虑了上下文语境信息,还压缩了数据规模”——它同时做了语义编码和降维两件事。

代价:可解释性下降,单看某一维说不出含义;需要语料与训练时间;词表外的词(OOV)没有向量。因此对极小语料或需要严格可解释特征的场景,one-hot 加特征工程仍有其位置。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第14章 Word2Vec和Doc2Vec词向量模型 14.2.1 Doc2Vec模型原理 · 查看原书依据

      不管是CBOW模型还是Skip-Gram模型,在训练过程中都考虑到了词的上下文 contest(W),因此得到的词向量维度比之前的 one-hot向量要短很多,另外还有一个特别有利的性质就是:各个词对应的词向量(之前说过,每个词向量表示一个点)之间的距离远近可以反映这些词语义之间的关系。

    参考来源

    - 位置:《机器学习基础:从入门到求职》第14章《第14章 Word2Vec和Doc2Vec词向量模型》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00017.html) - 结论依据:原文在引出 Doc2Vec 时对比了两种表示——词向量维度比 one-hot 短很多,且向量距离能反映语义关系,还压缩了数据规模。 - 原始内容:不管是CBOW模型还是Skip-Gram模型,在训练过程中都考虑到了词的上下文 contest(W),因此得到的词向量维度比之前的 one-hot向量要短很多,另外还有一个特别有利的性质就是:各个词对应的词向量(之前说过,每个词向量表示一个点)之间的距离远近可以反映这些词语义之间的关系。