知识卡片
规范化也可能删掉语义线索
统一大小写有助于合并同词写法,但也可能丢掉名字与普通形容词等线索;同拼写词的不同词义还依赖上下文。应保存原始文本,按任务选择规范化与特征,不能把“更干净”理解为一律删去大小写、标点和局部顺序。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 2 处
- · 查看原书依据
盲目的将其变为小写也会使问题变的复杂,因为特定单词和词组的使用也是很重要的。 “Mr.Green”和“Web 2.0”是两个值得考虑的例子。对于例子“Mr.Green”保留“Green”会有优势,因为它能够提供线索来说明这个词不是形容词,可能是名词短语中的一部分。我们在第5章(讨论NLP)会再次讨论这个主题,因为用单词包的方法会丢失上下文信息,而用NLP更高
- · 查看原书依据
当前上下文赋予单词意义的线索最大化。 本章采用以上下文为驱动的不同技术来对人类语言数据的语义进行更深层次的挖掘。社交网络的API能够返回符合良好定义的模式的数据是很重要的,不过人类还是以自然语言的方式进行最基本的交流,比如你在本页读到的内容、Facebook上发布的内容、链在推文(tweet)中的网页等等。到目前为止,人类语言对我们来说是最常见的,未来以数据
参考来源
- 位置:《社交网站的数据挖掘与分析(原书第2版)》第4章《4.4.5 分析人类语言数据的反思》(spine87;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0076.html;u068-ch04-043)。
- 结论依据:原文在“盲目的将其变为小写”附近的定义、例子或代码支撑本卡核心说明:统一大小写有助于合并同词写法,但也可能丢掉名字与普通形容词等线索;同拼写词的不同词义还依赖上下文。边界按已读前提解释;示例未执行。
- 原始内容:盲目的将其变为小写也会使问题变的复杂,因为特定单词和词组的使用也是很重要的。 “Mr.Green”和“Web 2.0”是两个值得考虑的例子。对于例子“Mr.Green”保留“Green”会有优势,因为它能够提供线索来说明这个词不是形容词,可能是名词短语中的一部分。我们在第5章(讨论NLP)会再次讨论这个主题,因为用单词包的方法会丢失上下文信息,而用NLP更高
- 位置:《社交网站的数据挖掘与分析(原书第2版)》第5章《第5章 挖掘网页:使用自然语言处理理解人类语言、总结博客内容等》(spine91;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0080.html;u072-ch04-043)。
- 结论依据:章节导言强调语义处理不能只保留无序词项,后续具体流程继续解释。
- 原始内容:当前上下文赋予单词意义的线索最大化。 本章采用以上下文为驱动的不同技术来对人类语言数据的语义进行更深层次的挖掘。社交网络的API能够返回符合良好定义的模式的数据是很重要的,不过人类还是以自然语言的方式进行最基本的交流,比如你在本页读到的内容、Facebook上发布的内容、链在推文(tweet)中的网页等等。到目前为止,人类语言对我们来说是最常见的,未来以数据