知识卡片
用WSS拐点选k
WSS 衡量紧凑度 内平方和把每个点到其最近质心的距离平方累加起来。点越贴近质心,WSS 越小。但它随 k 增大单调下降,极端情况下每个点自成一簇、WSS 为零,所以不能取 WSS 最小的 k。
启发式判断 比较 k 与 k+1:如果多一个簇并没有让 WSS 明显降低,说明新增的簇只是把原本紧密的一组再切开,意义不大。把 WSS 对 k 画成折线,找下降由陡变缓的拐点,是通行的选 k 办法。
两个配套动作 一是同一 k 多次随机初始化(R 的 kmeans 用 nstart 指定重启次数),避免停在局部最优;二是把 WSS 曲线、簇的散点图与业务可解释性放在一起看,拐点只是候选而非结论。
边界 样本量大、属性多时曲线往往相当平滑,拐点并不明显;簇数还要受业务约束——能落地执行的分组数量,有时比统计上的拐点更有决定权。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 高级分析理论与方法:聚类 · 查看原书依据
换句话说,WSS是所有数据点与其最近质心之间距离的平方和。q (i ) 表示与第i个数据点最近的质心。如果这些点相对靠近它们各自的质心,那么WSS将相对较小。因此,如果k+1聚类没有显著降低k聚类中的WSS值,那么增加一个簇可能意义不大。
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第4章 高级分析理论与方法:聚类(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0014_split_002.html)
- 结论依据:4.2.3 节给出 WSS 定义与“k+1 未显著降低 WSS 则增加簇意义不大”的判断,并说明可比较不同 k 的 WSS;4.2.5 节指出初始质心敏感、需用 nstart 多次运行。
- 原始内容:换句话说,WSS是所有数据点与其最近质心之间距离的平方和。q (i ) 表示与第i个数据点最近的质心。如果这些点相对靠近它们各自的质心,那么WSS将相对较小。因此,如果k+1聚类没有显著降低k聚类中的WSS值,那么增加一个簇可能意义不大。