知识卡片
K-Means 的适用边界
K-Means 之所以被广泛使用,是因为它的成本收益比很好:原理简单、易实现、收敛快、可解释,需要调的主要参数只有 K 一个。但它隐含了几个很强的假设,越界就会失效。
优点:实现简单;参数少;簇形规则时效果不错。
缺点与对应的假设:
- 只适合”簇型”数据。它用”到中心的距离”定义归属,因此默认每个簇是围绕中心的一块凸的、近似球形区域。遇到月牙形、环形、长条形簇时,同一个簇会被中心切错——这正是密度聚类和谱聚类的用武之地(见 [[DBSCAN 的形状自由与代价]]、[[谱聚类把聚类变成切图]])。
- 类别严重不平衡时效果不佳。大簇会”抢走”边界上的点,小簇容易被并吞或独自成噪。
- K 值不好把握,只能靠搜索(见 [[K 值为什么只能试出来]])。
- 数据量大时计算重。每轮都要算所有样本到所有中心的距离;Mini Batch K-Means 先对大数据做无放回随机采样、再在采样集上聚类(多次采样多次聚类取最优),能显著提速,代价是可能牺牲一点准确度。
还有一个纯概念上的易混点:K-Means 里的 K 是簇的个数,K 近邻里的 K 是参考的邻居个数,两者所指对象完全不同,只是恰好都用了字母 K。读论文或调库时把二者混为一谈,会直接理解错参数含义。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第12章 聚类
原书出处 · 1 处
- 第12章 聚类 12.2.3 小结 · 查看原书依据
(1)聚类簇数K值的选择不好把握,一般只能通过暴力搜索法来确定。
参考来源
- 位置:《机器学习基础:从入门到求职》第12章《第12章 聚类》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00015.html)
- 结论依据:原文小结列出 K-Means 的五条缺点(K 值难定、只适合簇型数据、类别不平衡效果差、大数据计算量大、Mini Batch 牺牲精度),并专门加"注意"区分 K-Means 的 K 与 K 近邻的 K。
- 原始内容:(1)聚类簇数K值的选择不好把握,一般只能通过暴力搜索法来确定。……(2)只适合簇型数据,对其他类型的数据聚类效果一般。(3)当数据类别严重不平衡时,聚类效果不佳。