知识卡片
文本相似度
文本相似度先把文档转成共同特征空间里的向量,再用选定度量比较。例如把词项TF-IDF放在固定维度上,余弦比较向量方向,可用于找相近文档或把查询当向量检索。相近只表示当前特征与权重下的接近,不保证语义、立场或主题完全相同;分词、停用词、语料边界及权重都会改变结论。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 2 处
- · 查看原书依据
向量空间模型(vector space model)做一个简介,下面就来讨论这个主题。 4.4.3.1 向量空间模型和余弦相似度理论 虽然我们已经强调过,TF-IDF是将文档建模为无序的单词集合,但另一个对文档建模的合适方法是向量空间模型。向量空间模型的基本理论是认为你有一个很大的多维空间,这个空间对每个文档都有一个向量,向量的距离就表示文档间的相似度。向量
- · 查看原书依据
级联效应。 人类语言遭遇上下文过载 你或许已经注意到,在分析非结构化文本的时候会有许多讨厌的细节,而这些细节又十分重要。例如,字符串的对比会有大小写的问题,因此将单词正规化会很重要,这样就能尽可能正确的计算频率。然而,盲目的将其变为小写也会使问题变的复杂,因为特定单词和词组的使用也是很重要的。 “Mr.Green”和“Web 2.0”是两个值得考虑的例子。对
参考来源
《社交网站的数据挖掘与分析(原书第2版)》第04章《挖掘Google+:计算文档相似度、提取搭配等》
- 位置:《社交网站的数据挖掘与分析(原书第2版)》第4章《4.4.3 寻找相似文档》(spine87;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0076.html;u066-ch04-001)。
- 结论依据:原文在“向量空间模型”附近的定义、例子或代码支撑本卡核心说明:文本相似度先把文档转成共同特征空间里的向量,再用选定度量比较。边界按已读前提解释;示例未执行。
- 原始内容:向量空间模型(vector space model)做一个简介,下面就来讨论这个主题。 4.4.3.1 向量空间模型和余弦相似度理论 虽然我们已经强调过,TF-IDF是将文档建模为无序的单词集合,但另一个对文档建模的合适方法是向量空间模型。向量空间模型的基本理论是认为你有一个很大的多维空间,这个空间对每个文档都有一个向量,向量的距离就表示文档间的相似度。向量
- 位置:《社交网站的数据挖掘与分析(原书第2版)》第4章《4.4.5 分析人类语言数据的反思》(spine87;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0076.html;u068-ch04-001)。
- 结论依据:本章反思说明TF-IDF表示误差会传递到余弦比较,不能把距离数字当词义真理。
- 原始内容:级联效应。 人类语言遭遇上下文过载 你或许已经注意到,在分析非结构化文本的时候会有许多讨厌的细节,而这些细节又十分重要。例如,字符串的对比会有大小写的问题,因此将单词正规化会很重要,这样就能尽可能正确的计算频率。然而,盲目的将其变为小写也会使问题变的复杂,因为特定单词和词组的使用也是很重要的。 “Mr.Green”和“Web 2.0”是两个值得考虑的例子。对