知识卡片
空白切词不同于语言分词
按空白split得到的是由空白划分的字符串片段,标点、表情、昵称和主题标签可能仍连在片段里;无空格文本也未必被拆成语义上的词。因此统计前要声明“词”在当前分析中的操作定义,不能把split结果直接当通用自然语言分词。
本章具体例子study.与study说明标点处理会改变词项身份,进而改变TF、DF和余弦输入;这种误差来源是预处理,不是余弦函数自己能够纠正。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 4 处
- · 查看原书依据
for w in t.split() ] # Explore the first 5 items for each... print json.dumps(status_texts[0:5], indent=1) print json.dumps(screen_names[0:5], indent=1) print json.dumps(hashtags[0
- · 查看原书依据
使用空格近似单词的边界将文本划分成单词然后将单词作为Counter的输入计算较为频繁的词项,并且将其作为基准。 示例2-6:查询一个页面的“订阅”和“链接”联系 pp(g.get_connections(pepsi_id, 'feed')) pp(g.get_connections(pepsi_id, 'links')) pp(g.get_connectio
- · 查看原书依据
split方法来分词。然而,分词并不意味着简单地用空格来划分单词,第5章会介绍更复杂的适应于一般情形的分词方法。 解释器会话(interpreter session)的最后一个命令列出了单词的频率分布,以按频率进行排序。毫不惊奇,像the、to和of这些停用词是最常出现的词,但是频率分布会急速下降并有一个长长的拖尾。尽管我们现在是对一个小的文本样例进行处理,
- · 查看原书依据
study.”;这和出现在['a']中的“study”不一样。在这种情形下,后面的标点会影响TF和IDF的计算。有时,我们看起来处理句子末尾的句号上下文内容很容易,但是对机器来说,要做出相同水准的判断会困难很多。 编写程序来帮助机器更好理解出现在人类语言数据的单词内容,是一个充满活力的研究领域,而且对未来的搜索技术和Web技术有巨大的潜在价值。 [1] 单词