知识卡片
MinHash估集合相似
MinHash 是局部敏感哈希的一种,用来快速估算两个集合的相似度,最初用于搜索引擎检测重复网页,也可用于大规模聚类和降维。它基于 Jaccard 相似度:两个集合共有的元素数除以两者总共的元素数,取值在 0 到 1 之间。用于文本时,先要把文档转换成集合,这一步的处理方式会直接影响结果。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《分布式机器学习实战》第5章《Mahout分布式机器学习平台》(源文件:_epub-src/OEBPS/Text/chapter5.xhtml)
- 结论依据:原文说明MinHash是LSH的一种,可快速估算两个集合的相似度,由Andrei Broder提出,最初用于搜索引擎检测重复网页,也可用于大规模聚类和降维处理;它基于Jaccard相似性度量,即两集合共同元素数与总元素数之比,取值在[0,1]。
- 原始内容:MinHash是LSH的一种,可以用来快速估算两个集合的相似度。……集合A、B的Jaccard系数等于A、B中共同拥有的元素数与A、B总共拥有的元素数的比例。