知识卡片
GMM 用多个高斯拼出分布
高斯混合模型(GMM)假设整批数据来自 K 个高斯分布的加权叠加:每个成分有自己的均值 μ_k 和协方差 Σ_k,权重 π_k 表示该成分占多大比例,三者合起来决定样本出现的概率密度。它的表达能力来自一个事实:只要 K 足够大,多个高斯的加权和可以逼近任意连续概率密度——所以”数据长什么形状”不再重要,重要的是用几个高斯去拼出这个形状。
用它做聚类,逻辑与 K-Means 完全不同:
- 假设数据服从 K 个高斯的混合分布;
- 用数据估计出 π_k、μ_k、Σ_k(这一步靠 EM,见 [[EM 抬高似然的下界]]);
- 算出每个样本属于各成分的后验概率,归到概率最大的那个成分。
由此得到 GMM 最重要的性质:软分类。K-Means 说”这个点属于 A 类”,GMM 说”这个点 60% 属于 A、40% 属于 B”。概率输出本身有价值,也便于在后续流程中设置置信度阈值。
与 K-Means 相比还有两点实质差异:GMM 用协方差描述了各维之间的相关性和各簇的尺寸/朝向,所以当簇的大小不同、形状被拉伸、维度间相关时,GMM 更合适;并且 GMM 学的是概率密度,除聚类外还能做密度检测。
代价是:K 只能猜,结果受初值影响,且 EM 只保证收敛到局部最优。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第12章 聚类
原书出处 · 1 处
- 第12章 聚类 12.6.1 高斯混合聚类过程和原理 · 查看原书依据
将 GMM 用于聚类时,相当于假设数据服从混合的高斯分布;我们先根据数据推出GMM的概率分布,然后GMM的K个component就对应所要聚类的K个簇。
参考来源
- 位置:《机器学习基础:从入门到求职》第12章《第12章 聚类》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00015.html)
- 结论依据:原文定义 GMM 为 K 个高斯成分的加权混合、说明 K 足够大即可逼近任意连续密度,并指出 GMM 用于聚类时成分对应簇、以最大后验概率定归属;小结中对比了 K-Means 硬分类与 GMM 软分类。
- 原始内容:将 GMM 用于聚类时,相当于假设数据服从混合的高斯分布;我们先根据数据推出GMM的概率分布,然后GMM的K个component就对应所要聚类的K个簇。……(3)K-Means 是硬分类,要么属于这类,要么属于那类;而 GMM 是软分类,比如一个样本60%属于A,40%属于B。