知识卡片
ε 一改,聚类全变
DBSCAN 只有 ε 和 MinPts 两个参数,但 ε 的敏感程度远超一般超参数。原文的同一份数据上:ε=0.5 时所有点被连成一个簇,类别区分完全消失;ε=0.08 时各类能顺利分开;ε 继续减小,周围被判为噪声的非密度可达点迅速变多。
原因是 ε 直接定义了”多远算邻居”,而这决定了核心对象的数量,进而决定密度可达链能否延续:
- ε 太大 → 几乎每个点都是核心对象,所有点连成一片,簇被”糊”在一起;
- ε 太小 → 核心对象稀少,链断掉,大量点沦为噪声,簇被切碎。
所以 ε 不能凭感觉给,要按数据的实际尺度来定:先看样本间距离的分布(同一簇内的典型间距大致就是 ε 的量级),再用可视化检查聚类结果是否既没有糊成一片、也没有碎成一地噪声。MinPts 也要一起看——它控制”多密才算核心”,与 ε 存在补偿关系。
更重要的教训是原文从实验里得出的第二条结论:不同数据集适用的聚类方法本来就不同,选算法要按数据实际情况灵活处理,不要迷信某一个模型。参数调不动,往往不是调参不够努力,而是方法假设与数据形状不匹配(见 [[DBSCAN 的形状自由与代价]])。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第12章 聚类
原书出处 · 1 处
- 第12章 聚类 12.4.3 密度聚类应用实例 · 查看原书依据
当∈=0.5时,DBSCAN算法将整体聚成了一个类,也就是没有类别间的区分;而当∈=0.08时,DBSCAN基本可以顺利地将类别分开;但当∈的值进一步减小时,周围的非密度可达点就变多了。
参考来源
- 位置:《机器学习基础:从入门到求职》第12章《第12章 聚类》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00015.html)
- 结论依据:原文用同一数据集在 ε=0.5 与 ε=0.08 下的对比结果,说明 ε 对聚类结果影响极大、调参需谨慎,并由此得出"不同数据集适用不同聚类方法"的结论。
- 原始内容:当∈=0.5时,DBSCAN算法将整体聚成了一个类,也就是没有类别间的区分;而当∈=0.08时,DBSCAN基本可以顺利地将类别分开;但当∈的值进一步减小时,周围的非密度可达点就变多了。