← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9832.l · 生成模型:DeepSeek-V4.1-Flash

剪枝缺失值与列抽样

理解等级:中级

除了二阶信息和正则项,XGBoost 还有几处工程层面的改动,每一处都对应 GBDT 的一个具体痛点。

一、列抽样(colsample_bytree):每棵树随机选取一部分特征参与分裂,借鉴自随机森林。作用是双重的——降低树之间的相关性(降方差、抗过拟合),同时减少每轮要扫描的特征数(省计算)。代价是单棵树的拟合能力下降,需要更多轮次补偿。

二、后剪枝而非提前停止:GBDT 见到负增益立刻停止分裂;XGBoost 先一路长到 max_depth,再回头剪。差别在于”局部负、整体正”的情形:某次分裂本身是负增益,但它的子分裂可能带来更大的正增益,合起来仍然划算。提前停止会错过这种结构,后剪枝不会。

策略 遇到负增益 风险
GBDT 提前停止 立即停止该分支 可能过早停止,错过后续正增益
XGBoost 后剪枝 继续长到最大深度,再自底向上剪 训练更贵,需要 max_depth 兜底

三、缺失值的默认方向:GBDT 通常要求先填补缺失值;XGBoost 让每个节点在训练时学出一个默认分支——把缺失样本分别尝试分到左、右,取增益更大的那边作为默认方向。后续遇到缺失就按学到的方向走。好处是不必预先填补,也不会因为填补引入人为偏差;不同节点可以有不同的默认方向,比全局填一个均值更贴合数据。

四、自定义损失:只要损失二阶可导,用户提供一阶、二阶导即可,训练算法不变(因为叶子权重与增益都只依赖 g、h)。

这几项的共同点是:它们都不改变”加法 + 前向分步”的骨架,只是把工程细节做得更细。真正的算法级差异仍是二阶展开与正则项(见 [[二阶展开加正则项]]),并行则另算一类(见 [[并行在特征粒度]])。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第11章 提升树 11.3.3 XGBoost与GBDT的比较 · 查看原书依据

      当遇到一个负“增益”时,GBDT/GBRT 会马上停止分裂,但 XGBoost会一直分裂到指定的最大深度,然后回过头来剪枝。如果某个节点之后不再有负值,则会除掉这个分裂;但是如果负值后面又出现正值,并且最后综合起来还是正值,则该分裂会被保留。

    参考来源

    - 位置:《机器学习基础:从入门到求职》第11章《提升树》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00014.html) - 结论依据:原文列出 XGBoost 相对 GBDT 的若干工程改进,包括列抽样、后剪枝策略与对不同节点缺失值分别学习默认方向。 - 原始内容:当遇到一个负“增益”时,GBDT/GBRT 会马上停止分裂,但 XGBoost会一直分裂到指定的最大深度,然后回过头来剪枝。如果某个节点之后不再有负值,则会除掉这个分裂;但是如果负值后面又出现正值,并且最后综合起来还是正值,则该分裂会被保留。