知识卡片
二阶展开加正则项
GBDT 只用了一阶导(负梯度),XGBoost 把损失展开到二阶,并把树的复杂度写进目标函数。
对 L(y, fk(x)) 在 f{k−1}(x) 处做二阶泰勒展开,记
g_i = ∂L/∂f,hi = ∂²L/∂f²(均在 f = f{k−1} 处取值)
并代入 fk − f{k−1} = T_k(x),逐样本的损失变为
L ≈ L(y, f_{k−1}) + g_i·T_k(x_i) + ½·h_i·T_k(x_i)²
第一项只与前 k−1 轮有关,本轮是常数,可以丢掉。再加上正则项 Ω(T_k),按叶子聚合(同一叶子内的样本共享输出 w_j),得到第 k 轮要最小化的目标:
L_k = Σj [ (Σ{i∈j} g_i)·wj + ½(Σ{i∈j} h_i + λ)·w_j² ] + γ·T
记 G_j = Σ g_i、H_j = Σ h_i,对 w_j 求导置零,得到叶子权重的闭式解:
w_j* = −G_j / (H_j + λ)
代回可得该叶子的最优贡献 −½·G_j²/(H_j + λ),再加上惩罚 γ·T。
三件事一次解决:
- 二阶信息 = 曲率。一阶导只告诉方向,二阶导告诉”这个方向有多陡、该走多远”,相当于用牛顿步代替梯度步,同样的树能下降更多,收敛更快。数值上:某叶子 G = 4、H = 2、λ = 1,则 w* = −4/3 ≈ −1.33;若只看一阶信息,输出幅度无从确定。
- 正则项 = 显式的复杂度惩罚。Ω = γT + ½λΣw_j²:γ penalize 叶子个数(树越复杂罚越重),λ 压缩叶子输出(不让单叶给出过大的值)。从偏差—方差角度看,这直接压低方差,是 XGBoost 比 GBDT 更不容易过拟合的主要原因之一。
- 通用性。只要损失二阶可导,就能算出 g、h,进而得到 w*,所以用户可以自定义损失而不必改训练算法。这是”数学形式统一”换来的工程灵活性。
与 GBDT 的关系可以一句话概括:GBDT 用负梯度(一阶)作为拟合目标,XGBoost 用”二阶展开 + 正则”直接写出叶子的最优解与分裂的评分标准,见 [[用增益给分裂打分]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第11章 提升树
原书出处 · 1 处
- 第11章 提升树 11.3.1 XGBoost的原理 · 查看原书依据
传统的GBDT/GBRT模型只用到了损失函数的一阶导信息(一阶泰勒展开),而XGBoost模型用到了损失函数的二阶展开,效果上更好一些。
参考来源
- 位置:《机器学习基础:从入门到求职》第11章《提升树》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00014.html)
- 结论依据:原文对损失函数在 f_{k−1} 处做二阶泰勒展开,记 g、h 为一阶与二阶导,去掉常数项并加入正则项 Ω,得到 XGBoost 第 k 轮的等价损失函数。
- 原始内容:传统的GBDT/GBRT模型只用到了损失函数的一阶导信息(一阶泰勒展开),而XGBoost模型用到了损失函数的二阶展开,效果上更好一些。