知识卡片
GBDT 为什么拟合残差
GBDT 是加法模型:Fm(x) = F{m−1}(x) + step·h_m(x),每轮新加一棵回归树 h_m,去拟合当前模型还没解释掉的部分。
为什么是残差?以平方损失 (y − F(x))² 为例,损失对当前预测的负梯度正是 y − F(x),也就是残差。所以“沿负梯度方向走一步”在平方损失下等价于“用一棵树去拟合残差”;换成绝对值损失或 Huber 损失时,负梯度不再等于残差,而是残差的某种近似,这也是 GBDT 能用不同损失函数的原因。
训练过程:先给一个初始预测,按特征与切分点把样本分到左右子节点,用节点内样本均值作为该叶子的输出,算出残差作为下一棵树的目标,累加到预测上,直到整体损失小于阈值或达到迭代次数。回归树选分裂点的标准是分裂后左右子节点误差之和最小。
两个关键控制项:一是 Shrinkage,即 step(学习率,通常 0~1),每棵树只走一小步;二是树的深度/叶子数。GBDT 本质是回归树,做分类时需换成对数损失等并输出概率。
结构图:
flowchart TD
A[初始预测 F0] --> B[计算残差 y-F]
B --> C[训练回归树拟合残差]
C --> D[乘以学习率累加到 F]
D --> E{损失小于阈值}
E -- 否 --> B
E -- 是 --> F[输出加法模型]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 推荐系统的主要算法 · 查看原书依据
GBDT在函数空间利用梯度下降法进行优化。其基本思想是沿着梯度的方向,构造一系列的弱分类器,并以一定权重组合起来,形成最终决策的前分类器。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第8章 推荐系统的主要算法(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0114.html)
- 结论依据:原文把 GBDT 概括为在函数空间沿梯度方向逐个构造弱分类器并加权组合,平方损失下该梯度恰为残差,因此每轮树拟合残差。
- 原始内容:GBDT在函数空间利用梯度下降法进行优化。其基本思想是沿着梯度的方向,构造一系列的弱分类器,并以一定权重组合起来,形成最终决策的前分类器。