知识卡片
剪枝缺失值与列抽样
除了二阶信息和正则项,XGBoost 还有几处工程层面的改动,每一处都对应 GBDT 的一个具体痛点。
一、列抽样(colsample_bytree):每棵树随机选取一部分特征参与分裂,借鉴自随机森林。作用是双重的——降低树之间的相关性(降方差、抗过拟合),同时减少每轮要扫描的特征数(省计算)。代价是单棵树的拟合能力下降,需要更多轮次补偿。
二、后剪枝而非提前停止:GBDT 见到负增益立刻停止分裂;XGBoost 先一路长到 max_depth,再回头剪。差别在于”局部负、整体正”的情形:某次分裂本身是负增益,但它的子分裂可能带来更大的正增益,合起来仍然划算。提前停止会错过这种结构,后剪枝不会。
| 策略 | 遇到负增益 | 风险 |
|---|---|---|
| GBDT 提前停止 | 立即停止该分支 | 可能过早停止,错过后续正增益 |
| XGBoost 后剪枝 | 继续长到最大深度,再自底向上剪 | 训练更贵,需要 max_depth 兜底 |
三、缺失值的默认方向:GBDT 通常要求先填补缺失值;XGBoost 让每个节点在训练时学出一个默认分支——把缺失样本分别尝试分到左、右,取增益更大的那边作为默认方向。后续遇到缺失就按学到的方向走。好处是不必预先填补,也不会因为填补引入人为偏差;不同节点可以有不同的默认方向,比全局填一个均值更贴合数据。
四、自定义损失:只要损失二阶可导,用户提供一阶、二阶导即可,训练算法不变(因为叶子权重与增益都只依赖 g、h)。
这几项的共同点是:它们都不改变”加法 + 前向分步”的骨架,只是把工程细节做得更细。真正的算法级差异仍是二阶展开与正则项(见 [[二阶展开加正则项]]),并行则另算一类(见 [[并行在特征粒度]])。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第11章 提升树
原书出处 · 1 处
- 第11章 提升树 11.3.3 XGBoost与GBDT的比较 · 查看原书依据
当遇到一个负“增益”时,GBDT/GBRT 会马上停止分裂,但 XGBoost会一直分裂到指定的最大深度,然后回过头来剪枝。如果某个节点之后不再有负值,则会除掉这个分裂;但是如果负值后面又出现正值,并且最后综合起来还是正值,则该分裂会被保留。