← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9835.h · 生成模型:DeepSeek-V4.1-Flash

词向量平均丢掉了词序

理解等级:初级

有了词向量,最省事的文档表示是:把文档里每个词的向量求平均,用这个均值代表整篇文档的语义。原文给出的典型用法是文本分类与聚类——对测试集每篇文档的词向量取平均,再和训练集各文档的平均向量比距离,距离最近的那类就是预测类别。

这样做的好处很直接:不需要额外训练,一篇文档就压成一个与词向量同维的稠密向量,可以直接喂给任何分类器;文档长短不影响维度。

但代价是明确的:平均是可交换运算,”狗咬人”和”人咬狗”包含相同的词,平均出来的向量完全相同。词序、句法结构、否定词的位置这些信息全部被抹平了——原文的说法是”会抹灭文档中各个词的排列顺序产生的作用”。它本质上仍是词袋模型,只是把 one-hot 换成了稠密向量。

两类边界值得记住:

  1. 短文本、关键词主导的任务(主题分类、检索)平均向量往往够用,因为语义主要由词决定。
  2. 语序或搭配敏感的任务(情感极性、句法判断)平均会丢关键信息,需要让文档向量参与训练,这正是 Doc2Vec 要解决的问题(见 [[Doc2Vec给文档一个向量]])。
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第14章《第14章 Word2Vec和Doc2Vec词向量模型》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00017.html) - 结论依据:原文先给出"对文档所有词向量取平均"做分类的做法,随即指出它会抹灭词序的作用,并由此引出 Doc2Vec。 - 原始内容:但是上述对文档中所有词向量取平均的处理方式有一个小小的缺点,那就是会抹灭文档中各个词的排列顺序产生的作用。