知识卡片
层次聚类:合并规则决定聚类形状
层次聚类不需要预设类别数,产出的是一个可切的树状结构。两种方向:凝聚式(自底向上)把每个点当独立类,反复合并最近的类,直到满足终止条件;分裂式(自顶向下)先把全部点放一类,再不断细分。分裂式每一步该按什么规则切更难确定、细节更复杂,适用范围因此更窄。
凝聚式流程:每点自成一类 → 找最近两类合并 → 重算新类与其余各类的距离 → 重复,直到全部并成一类或达到预设类别数/距离阈值。
类间距离的三种定义决定了聚类形状:单连接(最短距离,取两类最近点)容易沿链条把长条状的点串成一类;全连接(最长距离,取最远点)倾向产出紧凑的球状类;两者都易受极端值影响。平均连接取所有对象对的平均距离,更稳健,代价是计算更复杂。
还有一层容易忽略的选择:距离与相似度不等价。用距离看 A 与 B 更近,用相关系数看可能 A 与 C 更相似,所以度量方式必须先按数据性质定下来,否则同一份数据会聚出完全不同的结果。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 搜索系统框架及原理 · 查看原书依据
平均连接法:无论是单连接法还是全连接法都容易受到极端值的影响,造成聚类的不稳定。与上述两种方法不同,平均连接法选取两个类别中所有对象的平均距离作为类间距离。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第4章 搜索系统框架及原理(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0065.html)
- 结论依据:原文对比单连接、全连接的极端值敏感性与平均连接的稳健性,支撑「合并规则决定聚类稳定性」的结论。
- 原始内容:平均连接法:无论是单连接法还是全连接法都容易受到极端值的影响,造成聚类的不稳定。与上述两种方法不同,平均连接法选取两个类别中所有对象的平均距离作为类间距离。