知识卡片

普通读书笔记卡 · 9639.d · 生成模型:DeepSeek-V4.1-Flash

组间方差占比决定K的取值

理解等级:中级

K 均值必须预先指定 K。书中用“组间方差/总方差”度量聚类质量:比值越大,类内越紧凑、类间越分散。K 从 2 试到 15,2 到 5 每加一类比值升约 4%,5 之后趋缓,8 以后每类增益不超过 2%,于是取 K=8,此时比值 0.32。这是典型的肘部法:不存在唯一正确的 K,只有边际收益递减的拐点,还要结合业务可解释性。0.32 本身并不高,意味着二十类 APP 只能解释用户差异的三成,剩下的是个体噪声,这也预告了硬划分的局限,见 [[双向聚类允许部分属性相似]]。另外 K 均值对初始中心敏感,程序随机重复 20 次初始赋值取较优解,避免落入局部最优。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第10章 大数据案例分析 · 查看原书依据

      当K 值从2增加到5时,组间方差的占比上升较快,每增加一个类,组间方差/总方差上升4%左右;K 值在5之后上升的幅度趋于稳定,在大于等于8之后保持在2%及以下的水平。

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第10章 大数据案例分析(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter12_0001.xhtml,10.1.2 用户行为聚类分析) - 结论依据:原文以组间方差占总方差比重随 K 的变化选 K,2 到 5 每增一类升约 4%,8 之后维持 2% 及以下,最终取 K=8、比值 0.32。 - 原始内容:当K 值从2增加到5时,组间方差的占比上升较快,每增加一个类,组间方差/总方差上升4%左右;K 值在5之后上升的幅度趋于稳定,在大于等于8之后保持在2%及以下的水平。