知识卡片

普通读书笔记卡 · 9792.c · 生成模型:DeepSeek-V4.1-Flash

相似度:距离与哈希

理解等级:中级

两样东西要先变成向量或矩阵,才谈得上算相似度,方法分两类。距离类包括欧氏(L2)、曼哈顿(L1)、明氏、汉明(等长串对应位置不同字符的个数)、Jaccard(交集占并集)、编辑距离(替换、插入、删除的最少次数,适合字符串而非定长向量)、余弦距离和皮尔森相关系数。余弦与皮尔森看方向不看长度,所以长文档不会仅因为词多就占便宜。哈希类包括 minhash 与 simhash:minhash 依据“随机变换后最小哈希值相等的概率等于 Jaccard 相似度”来降维;simhash 设计一种哈希,使内容相近的对象产生相近的签名。哈希类主要用于网页去重而不是精细的文本相似度——去重是相似度的极端情形。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《文本上的算法——深入浅出自然语言处理》第5章 你要知道的一些术语(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00012.html) - 结论依据:原文这一段直接给出本卡的核心判断:「而simhash是通过设计一个hash方法,使得内容相近的事物生成的hash签名……」 - 原始内容:而simhash是通过设计一个hash方法,使得内容相近的事物生成的hash签名也相近,hash签名的相近程度,就反映出了事物间的相似程度。