知识卡片
用增益给分裂打分
有了叶子权重的闭式解,建树就不必再枚举”分完再训练”:可以直接算出每种分裂方案能让损失下降多少。
一个叶子节点 I 分裂成左右两个子节点 I_L、I_R,损失下降量为
Gain = ½[ G_L²/(H_L+λ) + G_R²/(H_R+λ) − (G_L+G_R)²/(H_L+H_R+λ) ] − γ
三项分别是”左子节点最优贡献 + 右子节点最优贡献 − 父节点原本的贡献”,前面取负号变成收益,最后减去 γ(多一个叶子要付的复杂度代价)。
数值演算(λ = 1、γ = 0):父节点 G = 4、H = 2;左子 G_L = 3、H_L = 1;右子 G_R = 1、H_R = 1。
| 项 | 计算 | 值 |
|---|---|---|
| 父节点 | ½·4²/(2+1) | 2.667 |
| 左子 | ½·3²/(1+1) | 2.250 |
| 右子 | ½·1²/(1+1) | 0.250 |
| 增益 | 2.250 + 0.250 − 2.667 | −0.167 |
增益为负,说明这样分反而让损失变大,不该分。这与直觉一致:左右两侧的 G/H 比值(3 和 1)与父节点的 2 相比差异不够大,拆开只增加了模型复杂度。
三个直接推论:
- 打分标准来自目标函数,不是信息增益或基尼系数。形式上与 CART 的增益公式很像,但它是从损失函数推导出来的,因此换损失只需换 g、h,评分公式不变。
- γ 是分裂的门槛。增益必须大于 0(即下降量超过 γ)才值得分裂,这给了”什么时候停”一个显式判据。
- 不可能穷举整棵树。所有树结构的组合数是爆炸性的,所以实际用贪心:逐层枚举每个叶子的候选特征与分裂点,取增益最大者。原文称之为”解析解思维”——先用二阶展开求出解析解,再拿它当打分器建树,因此比 GBDT 的”先拟合再评估”更快。
负增益的处理策略,XGBoost 与 GBDT 不同,见 [[剪枝缺失值与列抽样]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第11章 提升树
原书出处 · 1 处
- 第11章 提升树 11.3.1 XGBoost的原理 · 查看原书依据
该增益值与模型的损失函数值成负相关关系(因为它在损失函数的基础上取了负号),即该值越大,就表示按照该分裂方式分裂可以使模型的整体损失减小得越多。
参考来源
- 位置:《机器学习基础:从入门到求职》第11章《提升树》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00014.html)
- 结论依据:原文由目标函数推出分裂增益公式,说明其与损失负相关、越大表示损失降得越多,并指出实践中用贪心逐层选择最佳分裂点。
- 原始内容:该增益值与模型的损失函数值成负相关关系(因为它在损失函数的基础上取了负号),即该值越大,就表示按照该分裂方式分裂可以使模型的整体损失减小得越多。