知识卡片
三种排序学习范式的损失构造
三种范式的根本差别在于“一个训练样本是什么”,这直接决定损失怎么写。
| 范式 | 样本 | 损失构造 | 优点 | 代价 |
|---|---|---|---|---|
| Pointwise | 单个文档 (x_i, y_i),y_i 是点击或相关度等级 | L=Σ ℓ(f(x_i), y_i),回归用平方损失,二分类用交叉熵 | 标注简单、可用点击日志、训练快 | 优化目标与排序指标不一致,文档之间不比较 |
| Pairwise | 文档对 (x_i, x_j) 及顺序 y_i>y_j | L=Σ max(0, 1-(f(x_i)-f(x_j))),要求正例分数至少高出 1 的合页损失 | 直接学相对顺序,通常比 Pointwise 更贴近排序 | 样本量 O(n²),靠前位置出错会被放大,评价困难 |
| Listwise | 整个结果列表 | 直接在整个列表上定义损失,如按 ΔNDCG 的绝对值给梯度加权,或对排列概率做交叉熵 | 与 NDCG 等指标对齐,更贴近用户需求 | 标注成本高、训练贵,很多场景拿不到完整排序标签 |
Pointwise 学到的是一套静态打分,样本之间互不影响;Pairwise 把排序转成二元分类,预测时靠两两比较得到偏序;Listwise 把列表整体当作一个样本,因此能利用位置折扣。选择取决于标注预算和指标要求,没有一种范式全面占优。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 搜索系统中的主要算法 · 查看原书依据
三者之间的区别就在于训练数据之间的关系对预测目标的影响不同。简单地说,单文档排序算法是点点之间排序,训练数据之间的关系与最终排序无关。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第5章 搜索系统中的主要算法(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0075.html)
- 结论依据:原文点明三种范式的区别在于训练数据之间的关系如何影响预测目标,并强调单文档方法的样本关系与最终排序无关,这决定了各自损失函数的构造方式。
- 原始内容:三者之间的区别就在于训练数据之间的关系对预测目标的影响不同。简单地说,单文档排序算法是点点之间排序,训练数据之间的关系与最终排序无关。