知识卡片

结构图卡 · 9816.k · 生成模型:DeepSeek-V4.1-Flash

GBDT 为什么拟合残差

理解等级:高级

GBDT 是加法模型:Fm(x) = F{m−1}(x) + step·h_m(x),每轮新加一棵回归树 h_m,去拟合当前模型还没解释掉的部分。

为什么是残差?以平方损失 (y − F(x))² 为例,损失对当前预测的负梯度正是 y − F(x),也就是残差。所以“沿负梯度方向走一步”在平方损失下等价于“用一棵树去拟合残差”;换成绝对值损失或 Huber 损失时,负梯度不再等于残差,而是残差的某种近似,这也是 GBDT 能用不同损失函数的原因。

训练过程:先给一个初始预测,按特征与切分点把样本分到左右子节点,用节点内样本均值作为该叶子的输出,算出残差作为下一棵树的目标,累加到预测上,直到整体损失小于阈值或达到迭代次数。回归树选分裂点的标准是分裂后左右子节点误差之和最小。

两个关键控制项:一是 Shrinkage,即 step(学习率,通常 0~1),每棵树只走一小步;二是树的深度/叶子数。GBDT 本质是回归树,做分类时需换成对数损失等并输出概率。

结构图:

flowchart TD
  A[初始预测 F0] --> B[计算残差 y-F]
  B --> C[训练回归树拟合残差]
  C --> D[乘以学习率累加到 F]
  D --> E{损失小于阈值}
  E -- 否 --> B
  E -- 是 --> F[输出加法模型]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第8章 推荐系统的主要算法(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0114.html) - 结论依据:原文把 GBDT 概括为在函数空间沿梯度方向逐个构造弱分类器并加权组合,平方损失下该梯度恰为残差,因此每轮树拟合残差。 - 原始内容:GBDT在函数空间利用梯度下降法进行优化。其基本思想是沿着梯度的方向,构造一系列的弱分类器,并以一定权重组合起来,形成最终决策的前分类器。