知识卡片
词袋保留频次而舍弃语序
词袋把文本表示为词项及其出现次数,便于用Counter先看哪些词常见。这种表示舍弃词序:相同词频可以对应不同句意,因此不能仅凭高频词推断完整态度或因果。书内按空格切分只是建立基准的近似方法,切词、大小写和规范化决定最终计数对象。
TF查询若把各查询词得分相加,只要求这些词分别出现;Mr. Green和Green Mr.可能得到相同总分,不能据此声称命中同一个短语。标点残留和未知查询词也会影响结果,需先明确分词及短语检索要求。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 词袋保留频次而舍弃语序
- · 4.3.1 词频
原书出处 · 2 处
- · 查看原书依据
词袋(bag of words)(http://bit.ly/1a1lHDF)并且从中查看人类语言数据,那么示例2-6为你提供了进行数据收集的切入点。换句话说,你可以仅仅通过使用空格近似单词的边界将文本划分成单词然后将单词作为Counter的输入计算较为频繁的词项,并且将其作为基准。 示例2-6:查询一个页面的“订阅”和“链接”联系 pp(g.get_con
- · 查看原书依据
Green Mr.”或“Green Mr.Foo”这两个复合词都没有出现在样例语句中,但查询他们将与查询“Mr.Green”返回相同的结果。另外,我们很容易想到,当词后面的标点符号没有正确处理和计算时没有考虑目标词周围的上下文时,词频排序技术会得到很差的结果。 对文档评分时,只考虑词频是常见的错误,因为它没有考虑到很多文档中都很常见的词,即停用词(stopw
参考来源
- 位置:《社交网站的数据挖掘与分析(原书第2版)》第2章《2.3.1 分析Facebook页面》(spine72;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0061.html;u037-ch02-017)。
- 结论依据:原文在“词袋”附近的定义、例子或代码支撑本卡核心说明:词袋把文本表示为词项及其出现次数,便于用Counter先看哪些词常见。边界按已读前提解释;示例未执行。
- 原始内容:词袋(bag of words)(http://bit.ly/1a1lHDF)并且从中查看人类语言数据,那么示例2-6为你提供了进行数据收集的切入点。换句话说,你可以仅仅通过使用空格近似单词的边界将文本划分成单词然后将单词作为Counter的输入计算较为频繁的词项,并且将其作为基准。 示例2-6:查询一个页面的“订阅”和“链接”联系 pp(g.get_con
- 位置:《社交网站的数据挖掘与分析(原书第2版)》第4章《4.3.1 词频》(spine86;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0075.html;u060-ch02-017)。
- 结论依据:多词查询累加TF不要求它们相邻,也不要求原顺序。
- 原始内容:Green Mr.”或“Green Mr.Foo”这两个复合词都没有出现在样例语句中,但查询他们将与查询“Mr.Green”返回相同的结果。另外,我们很容易想到,当词后面的标点符号没有正确处理和计算时没有考虑目标词周围的上下文时,词频排序技术会得到很差的结果。 对文档评分时,只考虑词频是常见的错误,因为它没有考虑到很多文档中都很常见的词,即停用词(stopw