知识卡片

普通读书笔记卡 · 6240

空白切词不同于语言分词

理解等级:中级

按空白split得到的是由空白划分的字符串片段,标点、表情、昵称和主题标签可能仍连在片段里;无空格文本也未必被拆成语义上的词。因此统计前要声明“词”在当前分析中的操作定义,不能把split结果直接当通用自然语言分词。

本章具体例子study.与study说明标点处理会改变词项身份,进而改变TF、DF和余弦输入;这种误差来源是预处理,不是余弦函数自己能够纠正。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 4 处

    • · 查看原书依据

      for w in t.split() ] # Explore the first 5 items for each... print json.dumps(status_texts[0:5], indent=1) print json.dumps(screen_names[0:5], indent=1) print json.dumps(hashtags[0

    • · 查看原书依据

      使用空格近似单词的边界将文本划分成单词然后将单词作为Counter的输入计算较为频繁的词项,并且将其作为基准。 示例2-6:查询一个页面的“订阅”和“链接”联系 pp(g.get_connections(pepsi_id, 'feed')) pp(g.get_connections(pepsi_id, 'links')) pp(g.get_connectio

    • · 查看原书依据

      split方法来分词。然而,分词并不意味着简单地用空格来划分单词,第5章会介绍更复杂的适应于一般情形的分词方法。 解释器会话(interpreter session)的最后一个命令列出了单词的频率分布,以按频率进行排序。毫不惊奇,像the、to和of这些停用词是最常出现的词,但是频率分布会急速下降并有一个长长的拖尾。尽管我们现在是对一个小的文本样例进行处理,

    • · 查看原书依据

      study.”;这和出现在['a']中的“study”不一样。在这种情形下,后面的标点会影响TF和IDF的计算。有时,我们看起来处理句子末尾的句号上下文内容很容易,但是对机器来说,要做出相同水准的判断会困难很多。 编写程序来帮助机器更好理解出现在人类语言数据的单词内容,是一个充满活力的研究领域,而且对未来的搜索技术和Web技术有巨大的潜在价值。 [1] 单词

    参考来源

    - 位置:《社交网站的数据挖掘与分析(原书第2版)》第1章《1.4.1 提取推文实体》(spine65;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0054.html;u023-ch01-023)。 - 结论依据:原文在“for w in t.split()”附近的定义、例子或代码支撑本卡核心说明:按空白split得到的是由空白划分的字符串片段,标点、表情、昵称和主题标签可能仍连在片段里;无空格文本也未必被拆成语义上的词。边界按已读前提解释;示例未执行。 - 原始内容:for w in t.split() ] # Explore the first 5 items for each... print json.dumps(status_texts[0:5], indent=1) print json.dumps(screen_names[0:5], indent=1) print json.dumps(hashtags[0 - 位置:《社交网站的数据挖掘与分析(原书第2版)》第2章《2.3.1 分析Facebook页面》(spine72;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0061.html;u037-ch01-023)。 - 结论依据:本章把空格切分作词袋基线,未声称完成分词或语义分析。 - 原始内容:使用空格近似单词的边界将文本划分成单词然后将单词作为Counter的输入计算较为频繁的词项,并且将其作为基准。 示例2-6:查询一个页面的“订阅”和“链接”联系 pp(g.get_connections(pepsi_id, 'feed')) pp(g.get_connections(pepsi_id, 'links')) pp(g.get_connectio - 位置:《社交网站的数据挖掘与分析(原书第2版)》第4章《4.4.1 自然语言工具包概述》(spine87;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0076.html;u064-ch01-023)。 - 结论依据:本节再次明确简单split不是一般分词器;URLs、标点与词形需另处理。 - 原始内容:split方法来分词。然而,分词并不意味着简单地用空格来划分单词,第5章会介绍更复杂的适应于一般情形的分词方法。 解释器会话(interpreter session)的最后一个命令列出了单词的频率分布,以按频率进行排序。毫不惊奇,像the、to和of这些停用词是最常出现的词,但是频率分布会急速下降并有一个长长的拖尾。尽管我们现在是对一个小的文本样例进行处理, - 位置:《社交网站的数据挖掘与分析(原书第2版)》第4章《4.4.5 分析人类语言数据的反思》(spine87;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0076.html;u068-ch01-023)。 - 结论依据:study.与study在split结果中是不同词,标点可能改变TF和IDF;并非公式自动识别它们相同。 - 原始内容:study.”;这和出现在['a']中的“study”不一样。在这种情形下,后面的标点会影响TF和IDF的计算。有时,我们看起来处理句子末尾的句号上下文内容很容易,但是对机器来说,要做出相同水准的判断会困难很多。 编写程序来帮助机器更好理解出现在人类语言数据的单词内容,是一个充满活力的研究领域,而且对未来的搜索技术和Web技术有巨大的潜在价值。 [1] 单词