知识卡片

普通读书笔记卡 · 6264.b

高频词不一定有区分力

理解等级:中级

停用词是频繁出现而在某任务中携带很少区分信息的词,常见英文例子有the等限定词;一份通用名单不保证覆盖具体领域。只加总词频可能让这类词压过主题词,需要按问题选择过滤或全局权重。高频不是普遍无用,不能脱离任务删去所有常见词。

实体分析例子补充了另一边界:人名、地点和组织即使仅出现一次,也可能是文档的关键对象。因此摘要词频、实体候选和主题特征不应完全使用同一删词规则。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 4 处

    • · 查看原书依据

      停用词(stopword)[1]。也就是说,所有词都均等地加权,而没有考虑它们实际的重要性。例如,“the green plant”包含停用词“the”,它提高了corpus['a']的总词频得分,因为“the”和“green”都在文档中出现了两次。相反,“green”和“plant”在corpus['c']中只出现了一次。 最终得分会被分解为如表4-2所示

    • · 查看原书依据

      专业领域仍然是很常见的。逆文档频率提供的计算结果表示语料库的通用归一化度量。通常情况下,它通过考虑文档集合中出现了所考察常见词的文档数量,来计算该词在一个文档集合的出现次数。 对于该度量的直观理解是如果某个词在语料库中不常出现,那么它就会产生一个更大的值,这有助于解释我们刚才研究的停用词问题。例如,对样本文档语料库中“green”的查询返回的逆文档频率得分应

    • · 查看原书依据

      棒球的博客可能会经常使用“棒球”这个词,应该考虑将它加入一个停用词列表中,即使它不是通用的停用词。(作为旁注,对某个数据源,把TF-IDF合并到计分函数中作为说明这个领域中常用词用法的方法会很有趣。) 假设已经尝试消除了停用词,算法的下一步是选择合适的N值,选择前N个词作为分析的基础。这个算法潜在的假设是这前N个词能充分的描述文档的特性,对于文档中的任何两个

    • · 查看原书依据

      频率都很低。尽管如此,它们还是很重要的,因为它们在文本中有实质的含义,即它们是人、地点、事情或想法,通常都是数据中的实质性信息。

    参考来源

    - 位置:《社交网站的数据挖掘与分析(原书第2版)》第4章《4.3.1 词频》(spine86;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0075.html;u060-ch04-013)。 - 结论依据:原文在“停用词”附近的定义、例子或代码支撑本卡核心说明:停用词是频繁出现而在某任务中携带很少区分信息的词,常见英文例子有the等限定词;一份通用名单不保证覆盖具体领域。边界按已读前提解释;示例未执行。 - 原始内容:停用词(stopword)[1]。也就是说,所有词都均等地加权,而没有考虑它们实际的重要性。例如,“the green plant”包含停用词“the”,它提高了corpus['a']的总词频得分,因为“the”和“green”都在文档中出现了两次。相反,“green”和“plant”在corpus['c']中只出现了一次。 最终得分会被分解为如表4-2所示 - 位置:《社交网站的数据挖掘与分析(原书第2版)》第4章《4.3.2 逆文档频率》(spine86;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0075.html;u061-ch04-013)。 - 结论依据:领域中很多常见词未必在通用停用词表里,IDF从当前语料库估计跨文档区分性。 - 原始内容:专业领域仍然是很常见的。逆文档频率提供的计算结果表示语料库的通用归一化度量。通常情况下,它通过考虑文档集合中出现了所考察常见词的文档数量,来计算该词在一个文档集合的出现次数。 对于该度量的直观理解是如果某个词在语料库中不常出现,那么它就会产生一个更大的值,这有助于解释我们刚才研究的停用词问题。例如,对样本文档语料库中“green”的查询返回的逆文档频率得分应 - 位置:《社交网站的数据挖掘与分析(原书第2版)》第5章《5.3.3 文档摘要》(spine94;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0083.html;u079-ch04-013)。 - 结论依据:领域高频词可被纳入定制停用词,但要按摘要任务判断,不能一概删除所有主题词。 - 原始内容:棒球的博客可能会经常使用“棒球”这个词,应该考虑将它加入一个停用词列表中,即使它不是通用的停用词。(作为旁注,对某个数据源,把TF-IDF合并到计分函数中作为说明这个领域中常用词用法的方法会很有趣。) 假设已经尝试消除了停用词,算法的下一步是选择合适的N值,选择前N个词作为分析的基础。这个算法潜在的假设是这前N个词能充分的描述文档的特性,对于文档中的任何两个 - 位置:《社交网站的数据挖掘与分析(原书第2版)》第5章《5.4 以实体为中心的分析:范式转换》(spine95;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0084.html;u080-ch04-013)。 - 结论依据:低频专有名词也可能承载文档关键实体,不能只按高频保留。 - 原始内容:频率都很低。尽管如此,它们还是很重要的,因为它们在文本中有实质的含义,即它们是人、地点、事情或想法,通常都是数据中的实质性信息。