知识卡片
聚类本质是相似度选择
聚类分析把一组对象按”相似性”分组,但”相似”本身没有唯一定义——闵可夫斯基距离(连续变量,p=2时即欧氏距离)、杰卡德系数(分类变量,衡量集合交并比)、余弦相似度(衡量向量夹角,常用于文本/高维稀疏数据)适用于不同的数据类型和场景。选错距离度量,聚类算法即使跑得再对也会得到没有业务意义的分组,所以聚类本质上不是一个自动化任务,而是需要结合数据特点反复尝试的迭代过程。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第12章 基于LSTM-Autoencoder的无监督聚类模型 12.1 聚类分析的广泛应用 · 查看原书依据
聚类分析是非常强大的分析方法,是一种不需要标记数据的无监督机器学习技术。简单来说,聚类分析是将一组对象进行分组,同一组中(一个聚类别)的对象在某种意义上比其他组中的对象更相似。那么怎么定义相似呢?什么是正确的距离指标呢?虽然已有大量算法对此进行了探索,但这些算法的表现却有很大不同。一般群集是根据成员之间的距离、数据空间的密集区域、间隔或特定统计分布而形成的组。在这些聚类算法中,距离和差异性是至关重要的。常见的距离测量公式有以下3种。 1)闵可夫斯基距离,用于连续型数据,公式如下: 当p=2时,为欧氏距离。目前聚类分析的很多实际分析问题使用的都是欧氏距离,当变量中的分类变量较少时,数据科学家也会将分类变量进行哑变量转化,再计算欧氏距离。 2)杰卡德系数,用于分类数据。设A、B为各个变量分类水平的集合,公式如下: 3)余弦相似度,一般用于测量两个向量夹脚的余弦值,以此度量向量之间的相似性,公式如下: 数据集和聚类的目的决定了我们对于距离函数、预期簇类个数以及聚类算法的选择,因此聚类分析不是一个自动化的任务,而是知识的发现、尝试和交互的过程,是多目标优化的迭代过程。好的聚类算法可以产生群集内对象相似度高且群集之间区分度也高的高质量群集。