知识卡片

普通读书笔记卡 · 9748.d · 生成模型:DeepSeek-V4.1-Flash

量纲不同,簇也不同

理解等级:高级

单位会改变结果 距离是带量纲的数字相加,谁的量级大,谁就主导距离。身高用厘米、年龄用年时,年龄差的平方可达数千,远大于身高差的平方;把身高改成米,身高的贡献骤降,簇的划分随之改变。算法本身不关心单位,但它看到的世界变了。

标准化 最省事的办法是把每个属性除以自己的标准差,得到无量纲、标准差为 1 的新属性,让各属性在同一尺度上竞争。也可以换更小的计量单位(如千美元),效果类似但不够彻底。

不必去均值 距离只对尺度敏感、对平移不敏感,减去均值不改变点与点的相对远近;只有在需要解释质心坐标落在何处时,去均值才有意义。

取对数 收入这类长尾分布常做对数变换,这等于宣告 1 千到 1 万的距离与 1 万到 10 万相同,尾部被压缩。做之前要想清楚:倾斜本身可能正是聚类想找的结构,取对数可能把要发现的东西抹平。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第4章 高级分析理论与方法:聚类(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0014_split_002.html) - 结论依据:4.2.5 节以身高单位由厘米改为米为例,说明单位改变会产生不同簇,并给出按标准差重新调整、去均值不必要、对倾斜数据取对数的讨论。 - 原始内容:从计算的角度来看,k均值聚类算法并不关心给定属性的测量单位(例如,患者的身高单位是米或者厘米)。然而,取决于所选择的计量单位,该算法会识别出不同的簇。