知识卡片
MinHash用多组最小值估计集合相似
把文章表示为词或其他片段的集合后,MinHash 用多组哈希规则各取一个最小值,组成压缩签名。两个集合的签名一致比例可近似其交并比,即交集元素数除以并集元素数,用于大规模相似候选筛选。
签名越多,估计通常越稳定,但计算与存储成本也增加。原文“排序后取最小几个原值”只是直观示意,不能直接当作标准 MinHash 的随机化过程。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《架构师之路》第65章《百度咋做长文本去重》(源文件:_epub-src/OEBPS/Text/65.html)
- 结论依据:原文把 MinHash 作为集合相似签名,提出增加代表元素和哈希函数提高判别;多组随机哈希及交并比是对示意例子的算法边界说明。
- 原始内容:我们可以 使用更多的hash函数来代表集合 ,以提高准确性