← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9823.e · 生成模型:DeepSeek-V4.1-Flash

内部指标与轮廓系数

理解等级:中级

没有参考划分时,聚类只能靠结果自身的内在性质打分。核心直觉只有一句:好的聚类应当”簇内紧、簇间远”。所有内部指标都是把这两个量做某种比值。

先定义四个基础量:avg(cₖ) 是簇内任意两样本的平均距离;diam(cₖ) 是簇内最远两点的距离;dmin(cₖ,cₗ) 是两簇最近点的距离;dcen(cₖ,cₗ) 是两簇中心点的距离。

DB 指数(DBI):对每一对簇,算”两簇内平均距离之和 ÷ 两簇中心距离”,再对所有簇取平均。簇内越紧(分子小)、簇心越远(分母大),DBI 越小。所以 DBI 越小越好。

Dunn 指数(DI):用”任意两簇间最近距离的最小值 ÷ 任意簇内最远两点距离的最大值”。分子大意味着最接近的两个簇也离得远,分母小意味着最松散的簇也够紧,因此 DI 越大越好。

DBI 用平均值,会被某一对糟糕的簇拉高但也被其他对稀释;DI 用极值(最坏情况),对单个异常簇非常敏感。两者都只给一个全局分数,看不出”哪些样本分错了”。

轮廓系数则落到每个样本上。对样本 i,令 a 为它到同簇其他点的平均距离(凝聚度),b 为它到最近的另一个簇中所有点的平均距离(分离度),则

s(i) = (b − a) / max(a, b)

取值范围 [−1,1]。若 b ≫ a,s 接近 1,说明它离本簇近、离外簇远,分得很干净;若 a > b,s 为负,说明它其实更像隔壁簇的成员,很可能是被错分的点。整个数据集的轮廓系数取所有样本的平均。

相比 DBI/DI 的单一数字,轮廓系数的价值在于可诊断:画出每个样本的轮廓值分布,能直接看出哪个簇整体偏薄、哪些点处在边界。代价是需要两两距离,样本量大时开销高,所以 scikit-learn 的实现提供了 sample_size 参数做采样,用部分样本估计整体。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第2章《机器学习工程实践》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00005.html) - 结论依据:原文定义 avg、diam、dmin、dcen 四个量,给出 DBI(越小越好)与 DI(越大越好)的构造逻辑,并说明轮廓系数由簇内平均距离 a 与最近异簇平均距离 b 定义、取值 [−1,1]。 - 原始内容:显然,每个簇样本之间的平均距离越小(表示相同簇内的样本距离越近),簇间中心点距离越大(表示不同簇样本相隔越远),DBI值就越小,所以DBI值可以较好地衡量簇间样本距离和簇内样本距离的关系,其值越小越好。