知识卡片
XGBoost的目标函数与正则
XGBoost 是树模型的集大成者,以可解释性强、精度高、速度快、鲁棒性强著称,常用于精排、粗排、重要特征选择,某些非实时场景也用于召回。它相对 GBDT 的两点关键拓展是:① 把对损失函数求一阶导推进到二阶泰勒展开近似,用一阶导和二阶导共同决定每步的树结构;② 在损失中加入正则项 Ω(f_j) 表示第 j 棵树的复杂程度(叶子越多越复杂),有效防过拟合。
由于 Boosting 是叠加算法,第 t 棵树的结果即当前最优结果,前 t-1 棵树结构已知、相关项为常数。将二阶展开代入目标函数并去掉常数项后,只需算出每步损失的一阶导与二阶导(均为常数),最优化该目标即可得到每步的 f(x),再由加法模型汇总成整体模型。这套带正则的二阶目标函数是 XGBoost 超参数众多、且能精细控过拟合的根源(参见 [[XGBoost调参参数参考]])。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 机器学习模型调参 5.3 XGBoost调参 · 查看原书依据
XGBoost是树模型的集大成者模型 , 一经发布便得到了业界的广泛应用 , 其以可解释性强、精度高、速度快和鲁棒性强著称
参考来源
- 位置:《推荐系统全链路设计:原理解读与业务实践》第5章《机器学习模型调参》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/49.html;src-032)
- 结论依据:原文给出 XGBoost 相对 GBDT 的二阶展开与正则项 Ω(f_j) 推导,说明一阶/二阶导在加法模型下为常数、最优化目标即得每步树,直接支撑本卡对目标函数与正则机制的讲解。
- 原始内容:XGBoost是树模型的集大成者模型 , 一经发布便得到了业界的广泛应用 , 其以可解释性强、精度高、速度快和鲁棒性强著称