知识卡片

普通读书笔记卡 · 9793.j · 生成模型:DeepSeek-V4.1-Flash

绕开损失定义梯度

理解等级:高级

RankNet 把排序当概率问题:对同一查询下的文档对,用模型分差算“前者比后者更相关”的预测概率,与标注给出的真实概率(更相关记 1、相同记 0、否则记 −1)做交叉熵,再梯度下降学参数;推导后的更新量取决于同查询下比它更相关与更不相关的文档有多少,即方向和幅度都由同一查询内的其它文档决定。问题在于优化目标是“错对最少”,而真正在意的是 NDCG 这类指标——它看重排在前面的是不是好文档,而且非平滑、不连续,没法直接求梯度。LambdaRank 干脆跳过损失函数,直接定义梯度:RankNet 的梯度乘以交换两篇文档位置后 NDCG 的变化量,于是位置越靠前、交换损害越大,梯度越大。LambdaMART 再把这个梯度接到 GBDT 上。代价是它变成经验算法,不再对应某个可写出的损失。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 搜索引擎是什么玩意儿 · 查看原书依据

      RankNet以错误pair最少为优化目标,很显然这并不是最优的,往往像NDCG等指标却是比较符合真实情况的,但是NDCG是非平滑不连续函数,无法直接求梯度。LambdaRank就是直接来定义梯度解决这个问题

    参考来源

    - 位置:《文本上的算法——深入浅出自然语言处理》第6章 搜索引擎是什么玩意儿(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00013.html) - 结论依据:原文这一段直接给出本卡的核心判断:「RankNet以错误pair最少为优化目标,很显然这并不是最优的,往往像NDCG……」 - 原始内容:RankNet以错误pair最少为优化目标,很显然这并不是最优的,往往像NDCG等指标却是比较符合真实情况的,但是NDCG是非平滑不连续函数,无法直接求梯度。LambdaRank就是直接来定义梯度解决这个问题