主题对照

文本近似去重与相似签名

比较内容哈希、分句指纹与 MinHash 在文本去重中的适用条件、误判边界和成本。

3 张卡片 · 1 本书

本层 3 张卡片 · 含下级覆盖 3 张卡片

本主题的卡片

架构师之路 · 百度咋做长文本去重

内容哈希与相似性签名回答不同问题

内容哈希可快速比较两份文件是否逐位相同,但文本只改少量字符,哈希值也可能完全不同,不能据此估计相似程度。局部敏感哈希关注“相似对象更可能落在同一桶或拥有相同签名”,用于候选召回或近似比较;它不要求数值上越接近就越相似。MD5 也不能单独证明消息来自声称的发送者,认证还需可信的密钥或签名机制。

查看卡片与原书出处

架构师之路 · 百度咋做长文本去重

分句指纹适合整句复制型重复

若重复网页主要整句复制,可按标点分句,选少量较长句作指纹,先筛出疑似重复页。它省去分词与词频计算,但轻微改写长句、模板文字或标点差异都可能造成漏检或误判。原文只提出场景化简化思路,没有给准确率实验,也明确不确定百度是否使用;应在目标语料上测精确率与召回率。

查看卡片与原书出处

架构师之路 · 百度咋做长文本去重

MinHash用多组最小值估计集合相似

把文章表示为词或其他片段的集合后,MinHash 用多组哈希规则各取一个最小值,组成压缩签名。两个集合的签名一致比例可近似其交并比,即交集元素数除以并集元素数,用于大规模相似候选筛选。

签名越多,估计通常越稳定,但计算与存储成本也增加。原文“排序后取最小几个原值”只是直观示意,不能直接当作标准 MinHash 的随机化过程。

查看卡片与原书出处
辅助阅读:卢曼编号

按卢曼编号阅读

点击箭头逐层展开,点击卡片标题查看详情。路径上下文仅用于连接层级,不计入主题卡片数。

来源书籍

来源书籍

架构师之路

系统架构类

Skill 版本:v15

书籍类型:未标注

类别清单尚未核对

317 张卡片