知识卡片
常用距离度量一览
距离是”两个样本有多不像”的量化。KNN、K-means、轮廓系数、DB 指数都建立在某个距离之上,换一个距离,聚类形状和模型结果都会变,所以选距离是建模决策的一部分,而不是随手调用的默认参数。
设有两个 n 维向量 A = (x₁₁, x₁₂, …, x₁ₙ) 与 B = (x₂₁, x₂₂, …, x₂ₙ):
| 名称 | 计算方式 | 直觉与适用 |
|---|---|---|
| 曼哈顿距离 | Σ|x₁ᵢ − x₂ᵢ| | 城市街区里只能横竖走;对单维大偏差不如平方敏感 |
| 欧氏距离 | √Σ(x₁ᵢ − x₂ᵢ)² | 直线距离(L2 范数);最常用,但要求各维量纲可比 |
| 闵可夫斯基距离 | (Σ|x₁ᵢ − x₂ᵢ|^p)^(1/p) | 欧氏的一般化:p=1 退化为曼哈顿,p=2 退化为欧氏 |
| 切比雪夫距离 | max|x₁ᵢ − x₂ᵢ| | 只看差得最多的那一维(p→∞ 的极限) |
| 夹角余弦 | A·B / (|A||B|) | 只看方向不看长度,取值 [−1,1],1 为同向;高维稀疏向量(文本)常用 |
| 汉明距离 | 不同位的个数 | 比较等长字符串或二进制串,如 “1111” 与 “1001” 距离为 2 |
| 杰卡德相似系数 | |A∩B| / |A∪B| | 集合交并比,衡量两个集合的相似度,聚类中常用 |
这一族距离的相互关系值得记住:曼哈顿、欧氏、切比雪夫其实是同一个闵可夫斯基公式在 p = 1、2、∞ 时的三个取值,差别在于”把各维差异怎么汇总”——求和、平方求和再开方、还是取最大。p 越大,单个维度的突出差异越占主导。
杰卡德距离与杰卡德相似系数互为反面:J_distance = 1 − J(A,B),一个衡量像,一个衡量不像。
实践中的两条经验:
- 欧氏类距离对量纲敏感。一个取值上万的收入和取值 0~1 的点击率混在一起,距离会被大数量级特征独占,所以用之前先做归一化或标准化,见 [[特征处理:量纲与编码]]。
- 高维稀疏数据(词袋向量)里欧氏距离会趋于集中、区分度下降,而夹角余弦只看方向,通常更稳。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 机器学习工程实践 2.1.4 常用距离公式 · 查看原书依据
可以看到,当p值取1时,闵可夫斯基距离就是曼哈顿距离;当p值取2时,闵可夫斯基距离就是欧氏距离。
参考来源
- 位置:《机器学习基础:从入门到求职》第2章《机器学习工程实践》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00005.html)
- 结论依据:原文 2.1.4 节在讲轮廓系数提到欧氏距离之后,补充列出曼哈顿、欧氏、闵可夫斯基、切比雪夫、夹角余弦、汉明、杰卡德相似系数与杰卡德距离七种度量,并指出闵氏距离在 p=1、2 时分别退化为曼哈顿与欧氏距离。
- 原始内容:闵可夫斯基距离可以看作欧氏距离的一种推广,数学表达式为……可以看到,当p值取1时,闵可夫斯基距离就是曼哈顿距离;当p值取2时,闵可夫斯基距离就是欧氏距离。