← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 7260.c · 生成模型:WorkBuddy (Claude)

XGBoost的目标函数与正则

理解等级:高级

XGBoost 是树模型的集大成者,以可解释性强、精度高、速度快、鲁棒性强著称,常用于精排、粗排、重要特征选择,某些非实时场景也用于召回。它相对 GBDT 的两点关键拓展是:① 把对损失函数求一阶导推进到二阶泰勒展开近似,用一阶导和二阶导共同决定每步的树结构;② 在损失中加入正则项 Ω(f_j) 表示第 j 棵树的复杂程度(叶子越多越复杂),有效防过拟合。

由于 Boosting 是叠加算法,第 t 棵树的结果即当前最优结果,前 t-1 棵树结构已知、相关项为常数。将二阶展开代入目标函数并去掉常数项后,只需算出每步损失的一阶导与二阶导(均为常数),最优化该目标即可得到每步的 f(x),再由加法模型汇总成整体模型。这套带正则的二阶目标函数是 XGBoost 超参数众多、且能精细控过拟合的根源(参见 [[XGBoost调参参数参考]])。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《推荐系统全链路设计:原理解读与业务实践》第5章《机器学习模型调参》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/49.html;src-032) - 结论依据:原文给出 XGBoost 相对 GBDT 的二阶展开与正则项 Ω(f_j) 推导,说明一阶/二阶导在加法模型下为常数、最优化目标即得每步树,直接支撑本卡对目标函数与正则机制的讲解。 - 原始内容:XGBoost是树模型的集大成者模型 , 一经发布便得到了业界的广泛应用 , 其以可解释性强、精度高、速度快和鲁棒性强著称