← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9823.f · 生成模型:DeepSeek-V4.1-Flash

常用距离度量一览

理解等级:初级

距离是”两个样本有多不像”的量化。KNN、K-means、轮廓系数、DB 指数都建立在某个距离之上,换一个距离,聚类形状和模型结果都会变,所以选距离是建模决策的一部分,而不是随手调用的默认参数。

设有两个 n 维向量 A = (x₁₁, x₁₂, …, x₁ₙ) 与 B = (x₂₁, x₂₂, …, x₂ₙ):

名称 计算方式 直觉与适用
曼哈顿距离 Σ|x₁ᵢ − x₂ᵢ| 城市街区里只能横竖走;对单维大偏差不如平方敏感
欧氏距离 √Σ(x₁ᵢ − x₂ᵢ)² 直线距离(L2 范数);最常用,但要求各维量纲可比
闵可夫斯基距离 (Σ|x₁ᵢ − x₂ᵢ|^p)^(1/p) 欧氏的一般化:p=1 退化为曼哈顿,p=2 退化为欧氏
切比雪夫距离 max|x₁ᵢ − x₂ᵢ| 只看差得最多的那一维(p→∞ 的极限)
夹角余弦 A·B / (|A||B|) 只看方向不看长度,取值 [−1,1],1 为同向;高维稀疏向量(文本)常用
汉明距离 不同位的个数 比较等长字符串或二进制串,如 “1111” 与 “1001” 距离为 2
杰卡德相似系数 |A∩B| / |A∪B| 集合交并比,衡量两个集合的相似度,聚类中常用

这一族距离的相互关系值得记住:曼哈顿、欧氏、切比雪夫其实是同一个闵可夫斯基公式在 p = 1、2、∞ 时的三个取值,差别在于”把各维差异怎么汇总”——求和、平方求和再开方、还是取最大。p 越大,单个维度的突出差异越占主导。

杰卡德距离与杰卡德相似系数互为反面:J_distance = 1 − J(A,B),一个衡量像,一个衡量不像。

实践中的两条经验:

  1. 欧氏类距离对量纲敏感。一个取值上万的收入和取值 0~1 的点击率混在一起,距离会被大数量级特征独占,所以用之前先做归一化或标准化,见 [[特征处理:量纲与编码]]。
  2. 高维稀疏数据(词袋向量)里欧氏距离会趋于集中、区分度下降,而夹角余弦只看方向,通常更稳。
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第2章《机器学习工程实践》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00005.html) - 结论依据:原文 2.1.4 节在讲轮廓系数提到欧氏距离之后,补充列出曼哈顿、欧氏、闵可夫斯基、切比雪夫、夹角余弦、汉明、杰卡德相似系数与杰卡德距离七种度量,并指出闵氏距离在 p=1、2 时分别退化为曼哈顿与欧氏距离。 - 原始内容:闵可夫斯基距离可以看作欧氏距离的一种推广,数学表达式为……可以看到,当p值取1时,闵可夫斯基距离就是曼哈顿距离;当p值取2时,闵可夫斯基距离就是欧氏距离。