← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 1064.d · 生成模型:GPT-6(Codex;本轮出处修订)

SVD降维加K均值聚类

理解等级:未标注

直接对高维原始时间序列(如51周的商品销量)做聚类容易被噪声和维度灾难干扰。常见做法是先用SVD把数据压缩到k个主方向,再计算每个样本和每个主方向的相关系数,把这组相关系数当作新的低维特征交给K均值聚类,最后还原到原始时间轴上观察每一类的平均曲线。这套”先分解降维、再对分解出的系数聚类”的组合,是矩阵分解类方法做行为规律挖掘的典型套路。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 行为规律的发现与挖掘 5.2 SVD聚类建模Python实战 · 查看原书依据

      V矩阵是奇异值分解的右奇异矩阵,表示对特征的压缩,选取k=5,表示将原始的51维特征压缩到5维,如代码清单5-6所示。 代码清单5-6 计算V矩阵与原始数据的相关系数 corr = [[] for i in range(feature_nums)] t = data['StockCode'] for i in range(len(x)): for j in range(feature_nums): corr[j].append(np.corrcoef(x[i], v[j, :])[0][1]) for i in range(feature_nums): t = pd.concat([t, pd.Series(corr[i], index=data.index)], axis=1) t.columns = ['StockCode'] + ['v{}'.format(i) for i in range(feature_nums)] 7. 对求得的系数矩阵进行k均值聚类 首先选取k均值聚类的k值,结合类内聚合度以及类间分离度计算轮廓系数,如代码清单5-7所示。

    参考来源

    - 位置:《数据科学工程实践 用户行为分析与建模、AB实验、SQLFlow》第5章 行为规律的发现与挖掘,5.2 SVD聚类建模Python实战(来源项目a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/数据科学工程实践 用户行为分析与建模、AB实验、SQLFlow/_epub-src/OEBPS/Text/part0028.xhtml) - 结论依据:原文明确实战流程包括"SVD分解、选取合适的特征数量、计算矩阵与原始数据的相关性、对求得的相关系数矩阵进行k均值聚类并对聚类结果进行解读",用信息比90%确定k值("设定信息比为90%,则k=5"),再对V矩阵与原始数据的相关系数做K均值聚类。 - 原始内容:V矩阵是奇异值分解的右奇异矩阵,表示对特征的压缩,选取k=5,表示将原始的51维特征压缩到5维,如代码清单5-6所示。 代码清单5-6 计算V矩阵与原始数据的相关系数 corr = [[] for i in range(feature_nums)] t = data['StockCode'] for i in range(len(x)): for j in range(feature_nums): corr[j].append(np.corrcoef(x[i], v[j, :])[0][1]) for i in range(feature_nums): t = pd.concat([t, pd.Series(corr[i], index=data.index)], axis=1) t.columns = ['StockCode'] + ['v{}'.format(i) for i in range(feature_nums)] 7. 对求得的系数矩阵进行k均值聚类 首先选取k均值聚类的k值,结合类内聚合度以及类间分离度计算轮廓系数,如代码清单5-7所示。