知识卡片

分层次聚类的距离计算方法

专业/工作 · 915.k

内容

不知道该分几个簇时,[[聚类与k均值算法|k均值算法]]就用不了了,这时改用分层次聚类:从每个数据点各自为一簇开始,不断把最相似的簇两两合并,一路合并到只剩一簇,整个过程画成一张树形图,之后想要几个簇,只需在树形图的某个高度横向切一刀即可,事后决定粒度而不必事先指定。但”怎样算相似”本身有多种定义方式:Ward法在合并前后比较各簇的方差变化,选方差增加最少的两个簇合并,兼顾了整体紧凑性;最短距离法把两个簇里最近的一对点的距离当作簇间距离,对异常值敏感(容易被一个孤立点”牵线”拉近两个本不相关的簇);最长距离法反过来用最远的一对点的距离,同样容易被异常值干扰但方向相反。选哪种距离计算方式没有标准答案,只能结合数据特点反复试错——这提醒聚类结果的”合理性”高度依赖于前期对距离定义的选择,不是一个客观唯一的过程。

参考来源

《图解数据科学》第5章《需要了解的有关人工智能的知识》