知识卡片
做分类只换损失函数
GBDT 做分类不需要改骨架:仍然是”算负梯度 → 用回归树拟合 → 累加”,只把损失换掉,因此输出仍是实数,最后再映射成类别或概率。
二分类取对数似然损失(与 Logistic 回归同源):
L(y, f(x)) = log(1 + exp(−y · f(x))), y ∈ {−1, 1}
对 f 求导再取负号,得到本轮要拟合的”伪残差”:
−∂L/∂f = y / (1 + exp(y · f(x)))
它的绝对值恒小于 1:预测越离谱、越接近”确信地错”,这个值越接近 ±1;预测已经很对时它接近 0。也就是说,错得越狠的样本,本轮被纠正的力度越大,但力度被压缩在 (0,1) 之间,不会像平方损失那样被单个离群点主导。
两处与回归版的实质差别:
| 环节 | 回归(平方损失) | 二分类(对数似然) |
|---|---|---|
| 负梯度 | y − f,无界 | y/(1+e^{yf}),有界 |
| 叶子输出 | 区域内负梯度的均值 | 需按该损失单独求最优拟合值,不是简单均值 |
| 最终输出 | 直接作为预测值 | 经映射(如 sigmoid)转为概率再定类 |
叶子输出为什么不能沿用均值:均值是平方误差下的最优常数,对数损失下最优常数满足另一个方程。原文对每个叶子给出”最佳残差拟合值”的专门公式,本质是在该叶子内再做一次一维最优化的闭式解。
为什么回归树能做分类:树拟合的对象是负梯度这个实数,不是类别标签;类别信息只通过损失函数进入梯度。这也解释了 GBDT 的通用性——只要能把任务写成可微损失,骨架不用动(多分类用 softmax 损失,同理)。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第11章 提升树
原书出处 · 1 处
- 第11章 提升树 11.2.2 GBDT和GBRT模型的处理过程 · 查看原书依据
对于二分类问题,类似于Logistic回归中,可以采用对数似然损失函数,即
参考来源
- 位置:《机器学习基础:从入门到求职》第11章《提升树》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00014.html)
- 结论依据:原文说明 GBDT 分类与回归思路一致,仅损失不同;二分类采用对数似然损失 L=log(1+e^{−yf(x)}),并给出对应的负梯度与叶子最佳残差拟合值。
- 原始内容:对于二分类问题,类似于Logistic回归中,可以采用对数似然损失函数,即……其中y∈{−1,1},此时损失函数的负梯度为