知识卡片
词向量平均丢掉了词序
有了词向量,最省事的文档表示是:把文档里每个词的向量求平均,用这个均值代表整篇文档的语义。原文给出的典型用法是文本分类与聚类——对测试集每篇文档的词向量取平均,再和训练集各文档的平均向量比距离,距离最近的那类就是预测类别。
这样做的好处很直接:不需要额外训练,一篇文档就压成一个与词向量同维的稠密向量,可以直接喂给任何分类器;文档长短不影响维度。
但代价是明确的:平均是可交换运算,”狗咬人”和”人咬狗”包含相同的词,平均出来的向量完全相同。词序、句法结构、否定词的位置这些信息全部被抹平了——原文的说法是”会抹灭文档中各个词的排列顺序产生的作用”。它本质上仍是词袋模型,只是把 one-hot 换成了稠密向量。
两类边界值得记住:
- 短文本、关键词主导的任务(主题分类、检索)平均向量往往够用,因为语义主要由词决定。
- 语序或搭配敏感的任务(情感极性、句法判断)平均会丢关键信息,需要让文档向量参与训练,这正是 Doc2Vec 要解决的问题(见 [[Doc2Vec给文档一个向量]])。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第14章 Word2Vec和Doc2Vec词向量模型 14.2.1 Doc2Vec模型原理 · 查看原书依据
但是上述对文档中所有词向量取平均的处理方式有一个小小的缺点,那就是会抹灭文档中各个词的排列顺序产生的作用。
参考来源
- 位置:《机器学习基础:从入门到求职》第14章《第14章 Word2Vec和Doc2Vec词向量模型》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00017.html)
- 结论依据:原文先给出"对文档所有词向量取平均"做分类的做法,随即指出它会抹灭词序的作用,并由此引出 Doc2Vec。
- 原始内容:但是上述对文档中所有词向量取平均的处理方式有一个小小的缺点,那就是会抹灭文档中各个词的排列顺序产生的作用。