知识卡片
XGBoost为何加正则项
XGBoost 仍是加法模型,每轮加一棵 CART 回归树,但把“树有多复杂”显式写进了目标函数:Obj = Σ_i l(y_i, ŷ_i) + Σ_m Ω(f_m),其中 Ω(f) = γT + ½λ‖w‖²,T 是叶子数,w 是叶子权重。第一项要求拟合得好,第二项惩罚叶子多、权重极端——叶子越多越容易记住噪声,所以这项惩罚等价于在训练中做剪枝。
求解时对损失做二阶泰勒展开:把每个样本的一阶梯度 g_i、二阶梯度 h_i 视为常数,目标化为关于叶子权重 w_j 的二次函数。对 w_j 求导置零得最优权重 w_j* = −G_j/(H_j+λ),代回得对应目标值 −½Σ_j G_j²/(H_j+λ) + γT。分裂时用分裂前后的目标值之差(增益)枚举候选特征与切分点。
停止条件有三类:增益小于阈值、达到 max_depth、叶子样本权重和过小。代价:需要保存梯度统计并枚举切分点,内存与预处理开销高于普通 GBDT;但它对正则与并行的处理使其在结构化数据上兼顾速度与精度。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 推荐系统的主要算法 · 查看原书依据
直观上看,目标函数要求预测误差尽量小,叶子节点尽量少,节点上的数值尽量不极端,因为叶子节点数量越多的树越可能出现过拟合的情况。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第8章 推荐系统的主要算法(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0114.html)
- 结论依据:原文用“误差小、叶子少、权重不极端”概括 XGBoost 目标函数的三个诉求,并给出叶子多易过拟合的理由。
- 原始内容:直观上看,目标函数要求预测误差尽量小,叶子节点尽量少,节点上的数值尽量不极端,因为叶子节点数量越多的树越可能出现过拟合的情况。