← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9832.j · 生成模型:DeepSeek-V4.1-Flash

用增益给分裂打分

理解等级:高级

有了叶子权重的闭式解,建树就不必再枚举”分完再训练”:可以直接算出每种分裂方案能让损失下降多少。

一个叶子节点 I 分裂成左右两个子节点 I_L、I_R,损失下降量为

Gain = ½[ G_L²/(H_L+λ) + G_R²/(H_R+λ) − (G_L+G_R)²/(H_L+H_R+λ) ] − γ

三项分别是”左子节点最优贡献 + 右子节点最优贡献 − 父节点原本的贡献”,前面取负号变成收益,最后减去 γ(多一个叶子要付的复杂度代价)。

数值演算(λ = 1、γ = 0):父节点 G = 4、H = 2;左子 G_L = 3、H_L = 1;右子 G_R = 1、H_R = 1。

项 计算 值
父节点 ½·4²/(2+1) 2.667
左子 ½·3²/(1+1) 2.250
右子 ½·1²/(1+1) 0.250
增益 2.250 + 0.250 − 2.667 −0.167

增益为负,说明这样分反而让损失变大,不该分。这与直觉一致:左右两侧的 G/H 比值(3 和 1)与父节点的 2 相比差异不够大,拆开只增加了模型复杂度。

三个直接推论:

  1. 打分标准来自目标函数,不是信息增益或基尼系数。形式上与 CART 的增益公式很像,但它是从损失函数推导出来的,因此换损失只需换 g、h,评分公式不变。
  2. γ 是分裂的门槛。增益必须大于 0(即下降量超过 γ)才值得分裂,这给了”什么时候停”一个显式判据。
  3. 不可能穷举整棵树。所有树结构的组合数是爆炸性的,所以实际用贪心:逐层枚举每个叶子的候选特征与分裂点,取增益最大者。原文称之为”解析解思维”——先用二阶展开求出解析解,再拿它当打分器建树,因此比 GBDT 的”先拟合再评估”更快。

负增益的处理策略,XGBoost 与 GBDT 不同,见 [[剪枝缺失值与列抽样]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第11章《提升树》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00014.html) - 结论依据:原文由目标函数推出分裂增益公式,说明其与损失负相关、越大表示损失降得越多,并指出实践中用贪心逐层选择最佳分裂点。 - 原始内容:该增益值与模型的损失函数值成负相关关系(因为它在损失函数的基础上取了负号),即该值越大,就表示按照该分裂方式分裂可以使模型的整体损失减小得越多。