知识卡片
聚类外部指标的成对计数
聚类没有标签可对,怎么判断聚得好不好?外部指标的办法是:拿一份”参考划分”(人工标注或已知答案)来对照,看算法给出的簇结构与参考结构有多一致。
直接比较簇编号没有意义——簇号只是名字,换个编号顺序结果就变了。可行做法是把评价单位从”样本”换成”样本对”:在 M 个样本中取所有两两组合,逐个判断这一对在两次划分里是否同簇,于是只有四种情况:
| 记号 | 含义 | 计数 |
|---|---|---|
| SS | 参考划分同簇,预测也同簇 | a |
| SD | 参考划分异簇,预测却同簇 | b |
| DS | 参考划分同簇,预测却异簇 | c |
| DD | 两者都判为异簇 | d |
显然 a + b + c + d = C(M, 2)。四个数就是全部信息,不同指标只是对它们的再加工:
- Jaccard 系数 JC = a / (a + b + c):只看”至少有一方认为同簇”的对里,双方都认同的比例。
- FM 指数 FMI = √( a/(a+b) · a/(a+c) ):预测同簇的对里正确的比例,与参考同簇的对里被找出的比例,取几何平均。
- Rand 指数 RI = (a + d) / C(M, 2):两次划分判断一致(同簇且同簇、异簇且异簇)的比例,取值 [0,1],越大越吻合。
RI 有个缺陷:即使聚类结果是随机产生的,它也会因为”大部分对本来就异簇”而得到不低的分数。调整兰德指数 ARI 把随机情况下的期望值 (RI)_E 扣掉再归一化,使随机聚类的得分接近 0,取值变为 [−1,1],区分度更高。广义上,ARI 衡量的是两个数据分布的吻合程度。
另一条思路来自信息论:标准化互信息 NMI 把聚类看作一次”用预测簇标签去解释参考标签”的信息传递,值越大说明知道预测簇之后,参考标签的不确定性下降得越多。书中顺带点明,互信息就等于决策树里要用的信息增益 I(X,Y) = H(Y) − H(Y|X),这也让聚类评价与后面的特征选择共享了同一套语言。
外部指标的代价很明确:必须有参考答案。没有标注时只能转向 [[内部指标与轮廓系数]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 机器学习工程实践 2.1.3 聚类模型的评估指标 · 查看原书依据
外部指标需提供一个参考模型,然后将聚类结果与该参考模型进行比较得到一个评判值;常用的有Jaccard系数、FM指数、Rand指数和标准化互信息。
参考来源
- 位置:《机器学习基础:从入门到求职》第2章《机器学习工程实践》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00005.html)
- 结论依据:原文定义 SS/SD/DS/DD 四类样本对及计数 a、b、c、d,据此给出 Jaccard 系数、FM 指数、Rand 指数与调整兰德指数,并说明互信息即信息增益、NMI 用于聚类评价。
- 原始内容:外部指标需提供一个参考模型,然后将聚类结果与该参考模型进行比较得到一个评判值;常用的有Jaccard系数、FM指数、Rand指数和标准化互信息。