知识卡片

普通读书笔记卡 · 9826.c · 生成模型:DeepSeek-V4.1-Flash

距离度量与归一化

理解等级:中级

K 近邻的所有判断都建立在”谁离得近”之上,所以距离不是实现细节,而是模型定义的一部分。

闵可夫斯基距离是一族距离的统一写法:对两个 N 维向量 x_i、x_j,把每一维的差取 p 次方、求和、再开 p 次方。p 取不同值得到不同距离:

p 名称 几何含义
p=1 曼哈顿距离 沿坐标轴走的总路程,对单个维度的差异更宽容
p=2 欧氏距离 直线距离,最常用
p→∞ 切比雪夫距离 只看差得最多的那一维

p 越大,距离越被最大的那一维差异主导。这直接影响最近邻的构成:一个样本若在某一维上差异极大、其余维度都很接近,p 小时它可能仍算近邻,p 大时会被推远。

换一种数据类型就要换距离。欧氏距离适合连续型变量;当特征被处理成 0-1 二值编码(如 one-hot)时,用汉明距离更自然——它数的是两个等长串中不同位的个数,’1111’ 与 ‘1001’ 的距离为 2。二值向量上算欧氏距离也能得到数值,但平方与开方在 0/1 上没有额外含义,汉明距离的语义更干净。

归一化是前提而非优化。每个特征都有自己的取值范围,原文举的例子是一个特征取值 1、另一个取值 666。欧氏距离里所有维度是等权相加的,取值范围大的特征会自动主导距离:

  • 不归一化:取值 1 的那个特征无论怎么变,对距离的贡献都被 666 量级的维度淹没,”取值较小但实际比较重要的特征参数的作用可能就会被掩盖掉”;
  • 归一化后:每个维度的变化量级相当,距离反映的是相对差异而非单位差异。

边界:距离度量必须与特征类型、业务相似性一致。两个样本”相似”的定义若不能用坐标差表达(例如集合、序列、图结构),需要换专门的度量,而不是硬套欧氏距离。归一化也要小心:若某个特征本身是稀疏的 0/1 编码,做标准化会破坏稀疏结构,通常改用汉明或余弦类度量。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 K近邻 5.2.2 距离度量 · 查看原书依据

      另外,需要注意的是,在使用距离度量之前,一般应先对数据做归一化处理,因为每个样本xi 都有多个特征参数,每一个特征参数都有自己的取值范围,不同参数之间的大小差别可能会很大

    参考来源

    - 位置:《机器学习基础:从入门到求职》第5章《K近邻》5.2.2 距离度量(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00008.html) - 结论依据:原文给出闵可夫斯基距离并说明 p=1 为曼哈顿、p=2 为欧氏,介绍汉明距离的定义与 one-hot 用法,并强调使用距离度量前应先做归一化。 - 原始内容:另外,需要注意的是,在使用距离度量之前,一般应先对数据做归一化处理,因为每个样本xi都有多个特征参数,每一个特征参数都有自己的取值范围,不同参数之间的大小差别可能会很大