知识卡片

普通读书笔记卡 · 9790.k · 生成模型:DeepSeek-V4.1-Flash

GBDT 用负梯度拟合残差树

理解等级:高级

Boosting 是串行集成:后一个弱模型专门对付前面模型没做好的部分。GBDT 把“没做好”定义为残差,并且更进一步,用负梯度代替残差。每一轮先算当前模型在每个样本上的损失对预测值的负梯度,把它当作新的拟合目标,训练一棵回归树(不是分类树);再为这棵树的每个叶子区域解一个最优步长,让加了这棵树之后损失下降最多;最后把树按步长累加到模型上。

这样做的好处是,即使损失函数不是平方损失、残差没有显式定义,也能沿着梯度方向做函数级的下降,所以它本质上是前向分步加法模型加负梯度。

工程上还有第二种用法:先把 GBDT 训好,再把每个样本落在哪些叶子节点记成 0/1,得到一个长度等于全部叶子数的二值向量,拼进 LR 之类的线性模型。等于让线性模型免费获得 GBDT 学到的非线性切分。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《文本上的算法——深入浅出自然语言处理》第3章 让机器可以像人一样学习(下)(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00009.html) - 结论依据:原文这一段直接给出本卡的核心判断:「Gradient Boosting与传统Boosting的区别是,每一次的计算是……」 - 原始内容:Gradient Boosting与传统Boosting的区别是,每一次的计算是为了减少上一次弱模型的残差,而为了消除残差,我们可以在残差减少的梯度(Gradient)方向上建立一个新的弱模型。