知识卡片
高频词不一定有区分力
停用词是频繁出现而在某任务中携带很少区分信息的词,常见英文例子有the等限定词;一份通用名单不保证覆盖具体领域。只加总词频可能让这类词压过主题词,需要按问题选择过滤或全局权重。高频不是普遍无用,不能脱离任务删去所有常见词。
实体分析例子补充了另一边界:人名、地点和组织即使仅出现一次,也可能是文档的关键对象。因此摘要词频、实体候选和主题特征不应完全使用同一删词规则。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 4 处
- · 查看原书依据
停用词(stopword)[1]。也就是说,所有词都均等地加权,而没有考虑它们实际的重要性。例如,“the green plant”包含停用词“the”,它提高了corpus['a']的总词频得分,因为“the”和“green”都在文档中出现了两次。相反,“green”和“plant”在corpus['c']中只出现了一次。 最终得分会被分解为如表4-2所示
- · 查看原书依据
专业领域仍然是很常见的。逆文档频率提供的计算结果表示语料库的通用归一化度量。通常情况下,它通过考虑文档集合中出现了所考察常见词的文档数量,来计算该词在一个文档集合的出现次数。 对于该度量的直观理解是如果某个词在语料库中不常出现,那么它就会产生一个更大的值,这有助于解释我们刚才研究的停用词问题。例如,对样本文档语料库中“green”的查询返回的逆文档频率得分应
- · 查看原书依据
棒球的博客可能会经常使用“棒球”这个词,应该考虑将它加入一个停用词列表中,即使它不是通用的停用词。(作为旁注,对某个数据源,把TF-IDF合并到计分函数中作为说明这个领域中常用词用法的方法会很有趣。) 假设已经尝试消除了停用词,算法的下一步是选择合适的N值,选择前N个词作为分析的基础。这个算法潜在的假设是这前N个词能充分的描述文档的特性,对于文档中的任何两个
- · 查看原书依据
频率都很低。尽管如此,它们还是很重要的,因为它们在文本中有实质的含义,即它们是人、地点、事情或想法,通常都是数据中的实质性信息。