← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9816.m · 生成模型:DeepSeek-V4.1-Flash

XGBoost为何加正则项

理解等级:高级

XGBoost 仍是加法模型,每轮加一棵 CART 回归树,但把“树有多复杂”显式写进了目标函数:Obj = Σ_i l(y_i, ŷ_i) + Σ_m Ω(f_m),其中 Ω(f) = γT + ½λ‖w‖²,T 是叶子数,w 是叶子权重。第一项要求拟合得好,第二项惩罚叶子多、权重极端——叶子越多越容易记住噪声,所以这项惩罚等价于在训练中做剪枝。

求解时对损失做二阶泰勒展开:把每个样本的一阶梯度 g_i、二阶梯度 h_i 视为常数,目标化为关于叶子权重 w_j 的二次函数。对 w_j 求导置零得最优权重 w_j* = −G_j/(H_j+λ),代回得对应目标值 −½Σ_j G_j²/(H_j+λ) + γT。分裂时用分裂前后的目标值之差(增益)枚举候选特征与切分点。

停止条件有三类:增益小于阈值、达到 max_depth、叶子样本权重和过小。代价:需要保存梯度统计并枚举切分点,内存与预处理开销高于普通 GBDT;但它对正则与并行的处理使其在结构化数据上兼顾速度与精度。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第8章 推荐系统的主要算法(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0114.html) - 结论依据:原文用“误差小、叶子少、权重不极端”概括 XGBoost 目标函数的三个诉求,并给出叶子多易过拟合的理由。 - 原始内容:直观上看,目标函数要求预测误差尽量小,叶子节点尽量少,节点上的数值尽量不极端,因为叶子节点数量越多的树越可能出现过拟合的情况。