知识卡片

普通读书笔记卡 · 9833.d · 生成模型:DeepSeek-V4.1-Flash

K-Means 的适用边界

理解等级:中级

K-Means 之所以被广泛使用,是因为它的成本收益比很好:原理简单、易实现、收敛快、可解释,需要调的主要参数只有 K 一个。但它隐含了几个很强的假设,越界就会失效。

优点:实现简单;参数少;簇形规则时效果不错。

缺点与对应的假设:

  1. 只适合”簇型”数据。它用”到中心的距离”定义归属,因此默认每个簇是围绕中心的一块凸的、近似球形区域。遇到月牙形、环形、长条形簇时,同一个簇会被中心切错——这正是密度聚类和谱聚类的用武之地(见 [[DBSCAN 的形状自由与代价]]、[[谱聚类把聚类变成切图]])。
  2. 类别严重不平衡时效果不佳。大簇会”抢走”边界上的点,小簇容易被并吞或独自成噪。
  3. K 值不好把握,只能靠搜索(见 [[K 值为什么只能试出来]])。
  4. 数据量大时计算重。每轮都要算所有样本到所有中心的距离;Mini Batch K-Means 先对大数据做无放回随机采样、再在采样集上聚类(多次采样多次聚类取最优),能显著提速,代价是可能牺牲一点准确度。

还有一个纯概念上的易混点:K-Means 里的 K 是簇的个数,K 近邻里的 K 是参考的邻居个数,两者所指对象完全不同,只是恰好都用了字母 K。读论文或调库时把二者混为一谈,会直接理解错参数含义。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第12章《第12章 聚类》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00015.html) - 结论依据:原文小结列出 K-Means 的五条缺点(K 值难定、只适合簇型数据、类别不平衡效果差、大数据计算量大、Mini Batch 牺牲精度),并专门加"注意"区分 K-Means 的 K 与 K 近邻的 K。 - 原始内容:(1)聚类簇数K值的选择不好把握,一般只能通过暴力搜索法来确定。……(2)只适合簇型数据,对其他类型的数据聚类效果一般。(3)当数据类别严重不平衡时,聚类效果不佳。