知识卡片

普通读书笔记卡 · 1781.c.2

提升树逐轮拟合排名梯度

理解等级:高级

LambdaMART把LambdaRank的伪响应交给回归树拟合,每一轮学习一棵树,计算叶值并按学习率加到已有模型,形成多树加法模型。树数、叶数和学习率控制模型容量与训练成本;各棵树依赖当前模型产生的梯度,不能把所有树当相互独立任务一次性训练再随意相加。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 机器学习:分布式算法 · 查看原书依据

      在训练子树的过程中,M 个训练数据中的每一个都根据函数G 求出对应的λ梯度,每棵子树fn 就是根据这些梯度集合形成的最小平方回归树。在建子树的过程中,对于每个叶子节点计算目标函数下降的牛顿方向,然后乘以学习率,这样就完成了沿着梯度下降方向减小目标函数值来进行参数寻优的过程。

    参考来源

    - 位置:《大数据日知录:架构与算法》第16章《机器学习:分布式算法》,原文段落98,OEBPS/text00021.html。 - 结论依据:原书给出的机制、公式或算法与其适用范围;实验百分比和2014年系统状态不当作当前普遍保证。 - 原始内容:在训练子树的过程中,M 个训练数据中的每一个都根据函数G 求出对应的λ梯度,每棵子树fn 就是根据这些梯度集合形成的最小平方回归树。在建子树的过程中,对于每个叶子节点计算目标函数下降的牛顿方向,然后乘以学习率,这样就完成了沿着梯度下降方向减小目标函数值来进行参数寻优的过程。