知识卡片
只靠词频会高估通用词
问题:只用 TF 排序,排在前面的几乎总是无信息量的词。《哈姆雷特》中频率最高的三个词是 the、and、of,全是停用词;一篇讲电信消费的文章里 phone 频次极高,真正要追踪的 bPhone、bEbook 反而被压下去。搜索引擎若只按 TF 打分,就无法判断哪篇文档与查询真正相关。
原因:单个文档就是全世界。词的重要性完全由它所在的那一篇文档定义,缺少跨文档的参照系,于是“在哪儿都出现”和“在这篇里重要”被混为一谈。
两个层次的解法: - 权宜补丁是停用词表,直接删掉 the、a、of 这类虚词,Snowball 列表覆盖十几种语言。它便宜,但删不掉领域内的高频词,phone 依然会挡住 bPhone。 - 通用机制是引入逆文档频率,用整个文档集合做参照,让到处都有的词自动降权,而不依赖人工列举。
启发:判断一个指标是否可靠,要看它的参照系是否与结论的范围匹配;只在局部定义的量,无法回答全局问题。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 高级分析理论与方法:文本分析 · 查看原书依据
词频本身存在一个关键问题:那就是单个文档就是全世界。一个词的重要性完全是基于它存在的那个特定文档。停止词,例如the、and和a,不应该被当做最重要的词,因为它们在每个文档中都有最高的词频。
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第9章 高级分析理论与方法:文本分析(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0019_split_005.html)
- 结论依据:9.5 节指出词频的关键问题是单个文档就是全世界,并用哈姆雷特与电信文章的例子说明停用词和领域通用词会占满高分位。
- 原始内容:词频本身存在一个关键问题:那就是单个文档就是全世界。一个词的重要性完全是基于它存在的那个特定文档。停止词,例如the、and和a,不应该被当做最重要的词,因为它们在每个文档中都有最高的词频。