知识卡片
Lambda梯度需保留方向
LambdaRank按同查询文档对的得分差计算RankNet式梯度,再用交换位置带来的|ΔNDCG|等指标变化缩放。较相关与较不相关文档收到相反方向的更新,同一文档累加相关文档对贡献。原图把整项写成绝对值只表达大小不足以直接实现更新;得分差上的凸损失也不代表任意神经模型参数目标全局凸。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 机器学习:分布式算法 · 查看原书依据
即凸函数Ci,j 的导数与交换两个文档在搜索结果中位置的信息后获得的NDCG差值之乘积,其中o i,j 是两个文档原始得分的差值。而对于某一个文档Di 的λ梯度来说,则可以通过将该查询q结果中所有包含文档Di 的文档对的λi,j 进行累加获得,即 ,其中,P是所有文档对的集合。通过这种方式即可直接求解搜索结果文档的λ梯度来使用RankNet进行训练。
参考来源
- 位置:《大数据日知录:架构与算法》第16章《机器学习:分布式算法》,原文段落94,OEBPS/text00021.html。
- 结论依据:原书给出的机制、公式或算法与其适用范围;实验百分比和2014年系统状态不当作当前普遍保证。原文过度概括据第一手资料限定:[原始资料](https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/MSR-TR-2010-82.pdf)。
- 原始内容:即凸函数Ci,j 的导数与交换两个文档在搜索结果中位置的信息后获得的NDCG差值之乘积,其中o i,j 是两个文档原始得分的差值。而对于某一个文档Di 的λ梯度来说,则可以通过将该查询q结果中所有包含文档Di 的文档对的λi,j 进行累加获得,即 ,其中,P是所有文档对的集合。通过这种方式即可直接求解搜索结果文档的λ梯度来使用RankNet进行训练。