知识卡片
谱聚类先降维再聚类
谱聚类的完整流程可以概括成”建图 → 求谱 → 嵌入 → 再聚类”,中间那步本质是一次降维:
- 按选定方式(ε-邻近、K 近邻、全连接)构造邻接矩阵 W。
- 由 W 求度矩阵 D(每行权重求和放对角)。
- 算拉普拉斯矩阵 L = D − W。
- 构造标准化拉普拉斯矩阵。
- 求最小的 K₁ 个特征值对应的特征向量。
- 把这些特征向量按行标准化,拼成 N×K₁ 的特征矩阵 F。
- 把 F 的每一行当成一个 K₁ 维样本,用 K-Means 之类的常规方法聚成 K₂ 类。
- 输出簇划分。
为什么最后还要再聚一次?因为切图问题是 NP 难的,前面的特征分解只是把离散的”归属指示向量”松弛成了连续向量,松弛过程丢了少量信息,得到的 F 并不能直接读作归属。但它已经把样本映射到一个”更容易分开”的低维空间里——在原空间里绕成一团的流形,在这个空间里往往接近球形分布,此时 K-Means 足以收尾。
实践中的默认组合是:高斯核全连接建图 + Ncut 切图 + K-Means 收尾。scikit-learn 的 spectral_clustering 把 K₁ 和 K₂ 统一成 n_clusters 一个参数,affinity 选建图方式,assign_labels 选收尾聚类方式。
结构图:
flowchart LR
A[样本集] --> B[构造邻接矩阵 W]
B --> C[求度矩阵 D 与 L=D-W]
C --> D[标准化并求最小 K1 个特征向量]
D --> E[按行标准化得 N×K1 矩阵 F]
E --> F[把 F 的每行当样本做 K-Means]
F --> G[输出 K2 个簇]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第12章 聚类
原书出处 · 1 处
- 第12章 聚类 12.5.1 谱聚类的过程和原理 · 查看原书依据
最常用的相似矩阵的生成方式是基于高斯核距离的全连接方式,最常用的切图方式是Ncut,最常用的聚类方法为K-Means。
参考来源
- 位置:《机器学习基础:从入门到求职》第12章《第12章 聚类》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00015.html)
- 结论依据:原文给出谱聚类八步流程(建 W、建 D、算 L、标准化、取最小 K₁ 个特征向量、组成 F、对 F 的行聚类、输出),并注明最常用的组合是高斯核全连接 + Ncut + K-Means。
- 原始内容:最常用的相似矩阵的生成方式是基于高斯核距离的全连接方式,最常用的切图方式是Ncut,最常用的聚类方法为K-Means。