知识卡片

普通读书笔记卡 · 9638.h · 生成模型:DeepSeek-V4.1-Flash

小样本相似度的收缩修正

理解等级:高级

相似度只看得分、不看证据量,会误导邻居选择:用户 a 与 b 只共同评过 2 件且恰好一致,相似度为 1;a 与 c 共同评过 200 件、相似度 0.9,显然 c 更可信。修正思路是给相似度乘一个随共同评分数增长的折扣。显著性加权在 |I_uv| 小于阈值 γ 时下调 ω_uv,达到 γ 后不再惩罚;压缩法用 ω′=ω·|U_ij|/(|U_ij|+β),β≥0 为压缩参数,β=0 不改变,|U_ij| 远大于 β 时 ω′≈ω,共同评分少时被明显拉低。另一类问题来自物品:几乎人人都打满分的物品方差极小、区分度低。仿照 IDF 的 Inverse User Frequency 用 log(|U|/|U_i|) 给物品加权,|U| 为用户总数、|U_i| 为评价过物品 i 的人数,得到 Frequency-Weighted Pearson,让冷门物品的评分更有信息量。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第9章 推荐系统 · 查看原书依据

      上面的相似度度量方法在实际使用过程中有一个普遍的缺陷,就是计算数值的大小不会反映两个人共同打分的物品个数(或同时为两个物品打分的人的数目)的影响,从而在比较过程中缺乏统一的衡量标准。

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第9章 推荐系统(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter11_0001.xhtml,9.1 基于邻居的推荐) - 结论依据:原文用 a、b、c 的例子说明相似度不反映共同评分数,随后给出基于阈值 γ 的惩罚、带压缩参数 β 的压缩法,以及类似 IDF 的 Inverse User Frequency 与 FWPC。 - 原始内容:上面的相似度度量方法在实际使用过程中有一个普遍的缺陷,就是计算数值的大小不会反映两个人共同打分的物品个数(或同时为两个物品打分的人的数目)的影响,从而在比较过程中缺乏统一的衡量标准。