知识卡片
三种范式各自的准确度
同一批推荐结果可以用三种方式建模,选哪种建模方式就决定了该用哪套指标,因为三者回答的是不同问题:
| 范式 | 预测什么 | 典型指标 |
|---|---|---|
| 评分预测 | 用户对物品的评分(如0~10分) | RMSE、MAE、R² |
| 分类 | 喜欢/不喜欢,或下一个行为属于哪一类 | 准确率 Precision、召回率 Recall |
| 排序学习 | 一个有序列表 | MAP、NDCG、MRR |
三者在产品里最终都转成 Top N 推荐:给候选打分或算概率,再截取前 N 个。可一旦转成 Top N,评分预测指标(分数准不准)与排序指标(顺序对不对)就不再等价——一个把分数整体压缩却保持正确顺序的模型,RMSE 会变差,NDCG 不变。
分类范式里准确率与召回率此消彼长:推荐数量越多召回越高、准确越低,推到全量物品时召回率为1、准确率为0。所以报告任何准确率/召回率都必须写明 N 是多少,否则数字不可比。
边界:选用哪套指标,先看手上有什么数据——有显式评分才能算 RMSE,只有点击日志就只能走排序或分类口径。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 推荐系统的评价 · 查看原书依据
推荐系统的目的是为用户推荐一系列标的物,命中用户的兴趣点,让用户消费标的物。所以,在实际推荐产品中,一般都是为用户提供N个候选集,称为Top N推荐,尽可能地召回用户感兴趣的标的物。上面这三类推荐算法范式都可以转化为Top N推荐。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第9章 推荐系统的评价(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0126.html)
- 结论依据:原文指出三类范式最终都收敛为 Top N 推荐,说明它们面对的是同一个交付物,因此差异只在指标口径上;再结合原文对三类指标的分派,可推出「选范式即选指标」。
- 原始内容:推荐系统的目的是为用户推荐一系列标的物,命中用户的兴趣点,让用户消费标的物。所以,在实际推荐产品中,一般都是为用户提供N个候选集,称为Top N推荐,尽可能地召回用户感兴趣的标的物。上面这三类推荐算法范式都可以转化为Top N推荐。