知识卡片

普通读书笔记卡 · 9753.g · 生成模型:DeepSeek-V4.1-Flash

词袋法为何丢掉顺序

理解等级:中级

词袋法(bag-of-words)把文档表示成一组词项,忽略顺序、上下文、推论和语篇,通常还假设各项相互独立。每个不同的词占一维,维度之间没有次序,文档就是一串计数。结果是:文档 D 与它的任意排列 D*(词相同、次数相同、顺序不同)得到完全相同的表示。

代价很直接:dog bites a man 与 a man bites a dog 意思相反,在词袋里一模一样;否定、指代、讽刺、条件句也全部消失。一篇长文与它的段落摘要可能难以区分。

为什么仍然用它:以单个词作为标识符的有效性有长期检索评测支持,Salton 与 Buckley 综述大量实验后认为,把多个词组成的复杂条目与单词标识符比较时,单词标识符更可取;加上实现简单、可扩展、能直接喂给 TFIDF、主题模型和各类分类器,词袋成了默认起点。

何时不该用:需要句法或语义的任务,如信息抽取、机器翻译、细粒度情感,应考虑保留词序或上下文的高级表示,而不是硬套词袋。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第9章 高级分析理论与方法:文本分析(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0019_split_004.html) - 结论依据:9.4 节给出词袋定义、D 与 D* 同表示的论证,并引用 Salton 与 Buckley 的结论说明单词标识符为何够用。 - 原始内容:词袋法相当得朴素,因为顺序在文本的语义中扮演了重要的角色。通过词袋法,许多不同意思的文本合并成为一种形式。例如,“dog bites a man”和“a man bites a dog”的意思完全不同,但是在词袋法中它们是同一种表示。