← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9755.m · 生成模型:DeepSeek-V4.1-Flash

库内k均值聚类的陷阱

理解等级:高级

示例设定:用年龄与2013年以来的累计消费额两个特征对客户做k均值聚类,输入整理成坐标数组,没有购买的客户用左外连接补0,避免被丢掉。聚类函数一次指定输入表、坐标列、ID列、输出表、距离度量、最大迭代次数、收敛阈值与簇数。

结果暴露的问题:六个质心的年龄都在四十岁上下,几乎不区分;消费额却从六到四千多跨度极大。原因是欧氏距离把各维差值平方后相加,量纲大的维度天然主导距离,年龄差几十岁的影响远小于消费额差几千元。这样聚出来的簇实质上只按消费额切分。

修正:先标准化或归一化,让各维处于可比尺度,再重跑聚类;也可以在业务上确认某一维本就该占更大权重。

推广:任何基于距离的方法(聚类、最近邻、部分降维)都受量纲影响,特征缩放应作为建模前的固定步骤,而不是出问题后的补救。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第11章 高级分析技术与工具:数据库内分析(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0021_split_003.html) - 结论依据:11.3.4节k均值示例的输入准备(左外连接保留全部客户、坐标存成数组),以及末尾关于年龄相近导致销量支配距离、建议重新缩放后再分析的结论。 - 原始内容:因为要包括没有购买任何东西的客户,所以使用LEFT OUTER JOIN来包含所有的客户。客户的年龄与销量作为数组存储在cust_age_sales表中。MADlib k均值函数接受数组形式的坐标输入。