知识卡片
数据预处理:减噪与归一化
收集到的用户行为数据不能直接使用:查看、购买、评分等行为的取值量纲不同,数据本身还夹杂误操作与离群点,直接进入聚类会放大噪声。预处理包含三步。先把不同行为分组,例如分成查看与购买,分别计算各自的用户或物品相似度;也可以按偏好强弱加权,显式反馈权值通常高于隐式,购买又比查看更能反映偏好,但具体权重因应用而异。再做减噪,用离群点检测过滤误操作,使分析更精准。最后做归一化,各类数据除以本类最大值,把取值压到 [0,1],统一量纲后再合成总体偏好。完成这些后通常还要先对用户和物品聚类,把海量个体压缩成若干簇,再对簇运行协同过滤,从而大幅降低计算量。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 推荐系统原理 · 查看原书依据
收集了用户行为数据,我们还需要对数据进行一定的预处理,减噪和归一化是最常用的方法,其目的是为了下一步的聚类。
参考来源
- 位置:《机器学习算法原理与编程实践》第4章 推荐系统原理(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00016.html)
- 结论依据:原文先说明行为分组与加权两条合成思路,再给出减噪、归一化和先聚类降序的具体做法,支撑本卡对预处理三步的归纳。
- 原始内容:收集了用户行为数据,我们还需要对数据进行一定的预处理,减噪和归一化是最常用的方法,其目的是为了下一步的聚类。