知识卡片
协同过滤的头部效应缺陷
协同过滤直观、可解释,却缺乏把“两个物品相似”推广到其他物品的能力。当物品向量稀疏时,它只能靠共同被购买的数据算相似度,结果热门物品因为与大量物品共现而拥有强头部效应、总被推荐,冷门物品则因特征向量稀疏几乎不与任何物品相似,长期得不到曝光。这不是数据质量问题,而是算法只能利用自身局部信息的天然缺陷,处理稀疏向量能力弱且头部效应明显。此外它只利用交互信息,无法引入年龄、性别、商品描述、时间等特征。这两点共同指向后续两条改进路线:用矩阵分解的稠密隐向量提升泛化,用逻辑回归融合多类特征。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 前深度学习时代——推荐系统的进化之路 · 查看原书依据
但事实上,物品D与A、B、C相似的原因仅在于物品D是一件热门商品,系统无法找出 A、B、C 之间相似性的主要原因是其特征向量非常稀疏,缺乏相似性计算的直接数据。这一现象揭示了协同过滤的天然缺陷——推荐结果的头部效应较明显,处理稀疏向量的能力弱
参考来源
- 位置:《深度学习推荐系统》第2章 前深度学习时代——推荐系统的进化之路(源文件:extracted/深度学习推荐系统/_epub-src/text/part0006_split_002.html)
- 结论依据:原文以A、B、C都与热门物品D相似为例,指出系统无法找出A、B、C之间的相似性,并明确这是协同过滤头部效应明显、处理稀疏向量能力弱的天然缺陷。
- 原始内容:但事实上,物品D与A、B、C相似的原因仅在于物品D是一件热门商品,系统无法找出 A、B、C 之间相似性的主要原因是其特征向量非常稀疏,缺乏相似性计算的直接数据。这一现象揭示了协同过滤的天然缺陷——推荐结果的头部效应较明显,处理稀疏向量的能力弱