知识卡片
矩阵分解作为体系化规律挖掘手段
内容
传统的用户/商品行为规律挖掘依赖人为设定维度和分类标准(比如按月份分夏季热销/冬季热销),高度依赖个体经验且颗粒度粗。矩阵分解把这个问题转化成数学投影:把高维原始矩阵分解成基矩阵(低维空间里的特征方向)和系数矩阵(在这些方向上的强度),投影到低维空间的过程天然剔除了噪声、保留了主要结构,让”规律”变成数据本身涌现出的低维特征,而不需要人工预设分类标准。
参考来源
- 位置:《数据科学工程实践》第5章《行为规律的发现与挖掘》章首引言(源文件:_epub-src/OEBPS/Text/part0026.xhtml)
- 结论依据:原文明确传统方法"维度的选取及分类标准的划分高度依赖于个体经验……分析颗粒度也较粗",矩阵分解"将样本从原始高维空间投影到低维空间……去除了噪声,最大限度地保留了重要信息,低维空间特征揭示了样本的聚类特性……无须个体经验作为输入"。
- 原始内容:传统的规律挖掘方法是基于先验经验和纯数据驱动的……维度的选取及分类标准的划分高度依赖于个体经验……分析颗粒度也较粗。基于矩阵分解技术的规律挖掘方法是一种体系化的分析方法……矩阵分解是一个投影的过程,将样本从原始高维空间投影到低维空间……样本从高维到低维的投影过程中去除了噪声,最大限度地保留了重要信息,低维空间特征揭示了样本的聚类特性……无须个体经验作为输入,减少了人为主观对数据判断的偏差。