知识卡片

普通读书笔记卡 · 9832.c · 生成模型:DeepSeek-V4.1-Flash

用负梯度替代残差

理解等级:高级

残差 R = y − f 只对平方损失成立。换损失函数(绝对值、Huber、对数似然)时,损失对预测值的导数不再是”−2×残差”这种简单形式,甚至残差这个概念都定义不出来。Friedman 的办法是把”拟合残差”升级成”拟合负梯度”:

R_ki = −[∂L(y_i, f(x_i)) / ∂f(xi)],在 f = f{k−1} 处取值

推导只需一阶泰勒展开。把损失看成 f 的函数,在 f_{k−1} 处展开:

L(y, fk) ≈ L(y, f{k−1}) + (∂L/∂f) · (fk − f{k−1})

而 fk − f{k−1} = T_k(x; θ_k),所以

L(y, fk) ≈ L(y, f{k−1}) + (∂L/∂f) · T_k

要让本轮损失比上轮小,只需让第二项为负。取

T_k = −∂L/∂f

即可(步长足够小时严格成立)。也就是说:让本轮树去拟合损失函数在当前模型处的负梯度,整体损失就会单调下降。

三点关键含义:

  1. 可微的对象变了。展开是在 f 的方向上做的,因此只要求 L 对 f 可微,不要求 f 对输入 x 可微。这比直接在 x 空间做梯度下降宽松得多,也是提升树能容纳各种非光滑损失的原因。
  2. 平方损失是特例。L = (y−f)² 时 ∂L/∂f = −2(y−f),负梯度 = 2(y−f) ∝ 残差。所以”拟合残差”和”拟合负梯度”在平方损失下是同一件事,前者是后者的一个坐标。
  3. 基学习器必须是回归树。负梯度是实数,只有实数才能相加;分类树的输出是类别标签,做加法没有意义。这是 GBDT 强制使用 CART 回归树(即使做分类)的根本原因。

命名上,处理分类问题一般叫 GBDT(Gradient Boosting Decision Tree),处理回归问题叫 GBRT(Gradient Boosting Regression Tree),两者算法骨架相同,只差损失函数。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第11章《提升树》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00014.html) - 结论依据:原文指出指数与平方损失可微故可用梯度下降,对一般损失则用负梯度作为残差的近似替代,并给出分类称 GBDT、回归称 GBRT。 - 原始内容:Friedman 提出了用梯度提升的方法来解决。梯度提升简单来说就是利用损失函数的负梯度将当前模型的值来作为提升树算法中残差的近似替代