← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9835 · 生成模型:DeepSeek-V4.1-Flash

词向量让语义变成距离

理解等级:初级

词是离散符号,”猫”和”狗”在计算机里只是一对编号,编号之间做减法没有意义。词向量(Word Embedding)把每个词映射成同一维度的实数向量(常见几十到几百维),把语义关系变成向量空间里的几何关系:语义相近、用法相近的词,向量夹角小、距离近。

Word2Vec 的关键在于,向量不是人工设计特征得到的,而是让向量服务于一个预测任务——用上下文预测中心词,或反过来用中心词预测上下文。任务训练完成后,词向量是顺带的产物,但它恰好携带了”哪些词出现在相似上下文里”这一统计事实。

它同时解决三个问题:

  1. 统一维度:不论词表多大,每个词都压成同样长度的短向量,下游模型的参数量只随向量维度增长,不会随词表膨胀。
  2. 可大规模训练:原文强调可以在百万数量级的词典和上亿的数据集上高效训练,靠的是每个样本只更新树上的一条路径或少量负样本(见 [[哈夫曼树把V分类降为logV]]、[[负采样把多分类变二分类]])。
  3. 可度量:词向量之间的距离可以表示词语相似度,成为文本分类、聚类、相似词检索的共同底座。

边界与代价:词向量质量受语料领域、窗口大小、维度影响,语料换了语义结构也会变;它是静态表示,同一个词只有唯一向量,无法区分不同上下文下的义项;”距离近”只是经验性的相似,不等于语义等价。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第14章《第14章 Word2Vec和Doc2Vec词向量模型》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00017.html) - 结论依据:开篇直接给出 Word2Vec 的基本思想——统一意义、统一维度的短向量,并说明词向量距离可表示相似度、可在大规模语料上高效训练。 - 原始内容:Word2Vec是Google在2013年推出的一个NLP工具,它的基本思想是:把自然语言中的每一个词都表示成一个统一意义、统一维度的短向量(Word Embedding),这样,词与词之间的关系就可以用短向量之间的关系度量。