知识卡片

普通读书笔记卡 · 9813.h · 生成模型:DeepSeek-V4.1-Flash

排序学习:把人工拟合换成训练

理解等级:中级

传统检索模型的相关性打分函数是人工设计的:选定公式形式(如 TF-IDF 加权求和),再通过反复实验试出参数组合。特征一多、交互一复杂,人工拟合就难以覆盖,调参困难,而且很难判断模型是否过拟合。排序学习换了一个思路:人只提供带标签的训练数据(查询、文档、相关性等级或点击),由机器学习算法自己拟合打分函数 f(q,d)。流程是四步:人工标注训练数据、抽取文档特征、学习分类或回归函数、把模型部署到实际搜索系统中。它之所以能缓解过拟合,是因为训练目标里可以加正则项来约束参数规模。排序学习介于分类和回归之间:标签不是绝对的数值,而是相关度等级或文档间的顺序,模型只要学出正确的相对次序即可。这也决定了它的评价方式与普通分类不同,要用 NDCG 这类位置敏感的指标。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 搜索系统中的主要算法 · 查看原书依据

      传统的检索模型靠人工来拟合排序公式,并通过不断地实验确定最佳的参数组合,以此构成相关性打分函数。机器学习排序与传统的检索模型不同,可通过机器学习获得最合理的排序公式,而人只需要给机器学习提供训练数据

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第5章 搜索系统中的主要算法(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0075.html) - 结论依据:原文对比了人工拟合排序公式与机器学习自动获得排序公式两种做法,并说明人只需提供训练数据,这是排序学习的基本分工。 - 原始内容:传统的检索模型靠人工来拟合排序公式,并通过不断地实验确定最佳的参数组合,以此构成相关性打分函数。机器学习排序与传统的检索模型不同,可通过机器学习获得最合理的排序公式,而人只需要给机器学习提供训练数据