知识卡片
高维兴趣下最近邻失效
用户数不多、兴趣维度不高时,找最相似用户是有效的;维度一旦上千,情况反转:高维空间中向量彼此近乎正交,任意两人的余弦相似度都趋近 0,所谓“最相似用户”其实一点也不相似,把他的兴趣推给你就是噪声。书中用亚马逊举例:买过几千种商品的人,购买历史几乎不可能与任何人重合,最近邻因此失去意义。这是维数灾难在推荐里的具体表现,也是基于用户的方法在大平台难用的根本原因——不是算不动,而是“相似”这个概念本身失效。缓解方向是降维、聚类,或改用不依赖用户间距离的方法,例如基于物品的相似度或隐因子模型,而不是硬算相似度矩阵。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第23章 推荐系统 · 查看原书依据
想想亚马逊这样的网站,过去的几十年中我在该网站购买了数千种商品。你可以尝试根据购买模式来识别与我相似的用户,但全世界很可能没有人的购买历史看起来像我的。
参考来源
- 位置:《数据科学入门(第2版)》第23章 推荐系统(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0027.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「想想亚马逊这样的网站,过去的几十年中我在该网站购买了数千种商品……」
- 原始内容:想想亚马逊这样的网站,过去的几十年中我在该网站购买了数千种商品。你可以尝试根据购买模式来识别与我相似的用户,但全世界很可能没有人的购买历史看起来像我的。