知识卡片
交并比归一化集合重叠
对并集非空的两个集合,Jaccard相似度为交集大小除以并集大小,距离为1减去相似度:完全相同集合相似度1、距离0,不相交则相似度0、距离1。它只看集合成员,不保留频次或顺序;比较字符串前应明确成员是词、字符还是n-gram。两集合都空时分母为0,需按使用接口明确约定,不能直接套式。
搭配评分中的Jaccard可用相依表同现格a除以a+b+c,其中b/c为只出现一侧的计数。不能把它不加说明地当两个词字符串的字符集合相似度;参与计数的是所定义的共现事件。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 2 处
- · 查看原书依据
Jaccard相似度度量就是表达两个集合之间的相似度,并定义为集合之间相交与相并的比值。数学上来说,Jaccard相似度可以写为: 也就是两个集合中共有元素的数量(交集的基)除以两个集合中截然不同元素的数量(并集的基)。该比值的直觉思想在于该计算是一种获得归一化相似度的合理方法。总的来说,你可以使用n元文法(包括一元文法)计算Jaccard相似度来测量两个字
- · 查看原书依据
雅卡尔系数(Jacard Index),它用nltk.metrics.BigramAssocMeasures.jaccard来定义。BigramAssocMeasures类用相依表(contingency table)来排序单词的共现(collocation),它是用任意给定的二元文法与在二元文法中出现其他单词的概率相比较而得到。从概念上说,雅尔卡系数衡量了
参考来源
- 位置:《社交网站的数据挖掘与分析(原书第2版)》第3章《3.3.3 测量相似度》(spine79;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0068.html;u050-ch03-025)。
- 结论依据:原文在“Jaccard相似度”附近的定义、例子或代码支撑本卡核心说明:对并集非空的两个集合,Jaccard相似度为交集大小除以并集大小,距离为1减去相似度:完全相同集合相似度1、距离0,不相交则相似度0、距离1。边界按已读前提解释;示例未执行。
- 原始内容:Jaccard相似度度量就是表达两个集合之间的相似度,并定义为集合之间相交与相并的比值。数学上来说,Jaccard相似度可以写为: 也就是两个集合中共有元素的数量(交集的基)除以两个集合中截然不同元素的数量(并集的基)。该比值的直觉思想在于该计算是一种获得归一化相似度的合理方法。总的来说,你可以使用n元文法(包括一元文法)计算Jaccard相似度来测量两个字
- 位置:《社交网站的数据挖掘与分析(原书第2版)》第4章《4.4.4 分析人类语言中的二元文法》(spine87;extracted/OReilly精品图书系列共21册(《Javascript权威指南》、《机器学习:实用案例解析》、《编写可读代码的艺术》、《算法精解》等)/_epub-src/text/part0076.html;u067-ch03-025)。
- 结论依据:相依表里的Jaccard以同现频数除以至少一项出现的三格之和,仍是明确事件空间内的交并比。
- 原始内容:雅卡尔系数(Jacard Index),它用nltk.metrics.BigramAssocMeasures.jaccard来定义。BigramAssocMeasures类用相依表(contingency table)来排序单词的共现(collocation),它是用任意给定的二元文法与在二元文法中出现其他单词的概率相比较而得到。从概念上说,雅尔卡系数衡量了