知识卡片
depth-wise与loss-guide生长策略权衡
内容
决策树生长有两种策略:depth-wise按层构建(先铺满第一层再铺第二层),loss-guide每次只分裂当前收益增量最大的叶子节点(不管它在哪一层)。loss-guide能更快把”性价比”最高的分裂优先做掉,收敛更快,但因为不受层级约束,容易在数据量小时把某个局部分支越分越深,带来过拟合风险,需要额外用最大叶子数等参数加以限制。这体现了一个通用模式:贪心算法在”总是选当前最优”时,往往需要一个独立的复杂度上限去兜底,否则局部最优的贪心累积起来会偏离全局期望的正则化程度。
参考来源
《深入理解XGBoost:高效机器学习算法与进阶》第5章《XGBoost原理与理论证明》