知识卡片
相似度度量与协同过滤的边界
四种相似度各有适用面。
| 度量 | 形式 | 适用与陷阱 |
|---|---|---|
| Jaccard | 交集除以并集,只看是否有正向行为 | 隐式反馈(点击、收藏);用户兴趣集越大分母越大,稀疏时相似度普遍趋零 |
| 余弦 | 用户表示为物品构成的多维向量,算夹角 | 有频次或权重时更合理;未中心化时受活跃度影响 |
| 欧氏 | 多维空间绝对距离,越小越相似,需转成 1/(1+d) 一类 | 直观,适合稠密向量;对量纲敏感,必须先归一化 |
| 皮尔逊 | 两个定距变量的线性相关,取值 [-1,1] | 能消除用户评分尺度差异(严苛或宽松),只在共同评分项上计算 |
共同缺陷来自数据本身:交互矩阵极稀疏,两个用户共同评分的物品可能只有一两个,相似度方差极大;新用户、新物品没有向量,直接落在冷启动;热门物品被所有人共同行为,会主导相似度,让小众兴趣被淹没;相似度是离线快照,用户兴趣漂移后不会自动更新。因此工业界很少只用一种度量,而是把 CF 相似度与内容相似度、热度惩罚叠加,并对共同行为数设最小阈值。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 推荐系统框架及原理 · 查看原书依据
其中,u、v表示两个不同的用户,N(u)表示用户u所有有过正向行为的物品集合,同理N(v)表示用户v所有有过正向行为的物品集合。那么,公式(7-3)表达的是两个用户共同感兴趣的物品所占两人所有感兴趣的物品的比例
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第7章 推荐系统框架及原理(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0097.html)
- 结论依据:原文把 Jaccard 解释为共同兴趣物品占两人全部兴趣物品的比例,分母随兴趣集增大而膨胀,这正是稀疏场景下相似度趋零、需要阈值与惩罚的依据。
- 原始内容:其中,u、v表示两个不同的用户,N(u)表示用户u所有有过正向行为的物品集合,同理N(v)表示用户v所有有过正向行为的物品集合。那么,公式(7-3)表达的是两个用户共同感兴趣的物品所占两人所有感兴趣的物品的比例