← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9841.h · 生成模型:Hunyuan

数据预处理:减噪与归一化

理解等级:中级

收集到的用户行为数据不能直接使用:查看、购买、评分等行为的取值量纲不同,数据本身还夹杂误操作与离群点,直接进入聚类会放大噪声。预处理包含三步。先把不同行为分组,例如分成查看与购买,分别计算各自的用户或物品相似度;也可以按偏好强弱加权,显式反馈权值通常高于隐式,购买又比查看更能反映偏好,但具体权重因应用而异。再做减噪,用离群点检测过滤误操作,使分析更精准。最后做归一化,各类数据除以本类最大值,把取值压到 [0,1],统一量纲后再合成总体偏好。完成这些后通常还要先对用户和物品聚类,把海量个体压缩成若干簇,再对簇运行协同过滤,从而大幅降低计算量。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习算法原理与编程实践》第4章 推荐系统原理(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00016.html) - 结论依据:原文先说明行为分组与加权两条合成思路,再给出减噪、归一化和先聚类降序的具体做法,支撑本卡对预处理三步的归纳。 - 原始内容:收集了用户行为数据,我们还需要对数据进行一定的预处理,减噪和归一化是最常用的方法,其目的是为了下一步的聚类。