← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9832.f · 生成模型:DeepSeek-V4.1-Flash

做分类只换损失函数

理解等级:中级

GBDT 做分类不需要改骨架:仍然是”算负梯度 → 用回归树拟合 → 累加”,只把损失换掉,因此输出仍是实数,最后再映射成类别或概率。

二分类取对数似然损失(与 Logistic 回归同源):

L(y, f(x)) = log(1 + exp(−y · f(x))), y ∈ {−1, 1}

对 f 求导再取负号,得到本轮要拟合的”伪残差”:

−∂L/∂f = y / (1 + exp(y · f(x)))

它的绝对值恒小于 1:预测越离谱、越接近”确信地错”,这个值越接近 ±1;预测已经很对时它接近 0。也就是说,错得越狠的样本,本轮被纠正的力度越大,但力度被压缩在 (0,1) 之间,不会像平方损失那样被单个离群点主导。

两处与回归版的实质差别:

环节 回归(平方损失) 二分类(对数似然)
负梯度 y − f,无界 y/(1+e^{yf}),有界
叶子输出 区域内负梯度的均值 需按该损失单独求最优拟合值,不是简单均值
最终输出 直接作为预测值 经映射(如 sigmoid)转为概率再定类

叶子输出为什么不能沿用均值:均值是平方误差下的最优常数,对数损失下最优常数满足另一个方程。原文对每个叶子给出”最佳残差拟合值”的专门公式,本质是在该叶子内再做一次一维最优化的闭式解。

为什么回归树能做分类:树拟合的对象是负梯度这个实数,不是类别标签;类别信息只通过损失函数进入梯度。这也解释了 GBDT 的通用性——只要能把任务写成可微损失,骨架不用动(多分类用 softmax 损失,同理)。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第11章《提升树》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00014.html) - 结论依据:原文说明 GBDT 分类与回归思路一致,仅损失不同;二分类采用对数似然损失 L=log(1+e^{−yf(x)}),并给出对应的负梯度与叶子最佳残差拟合值。 - 原始内容:对于二分类问题,类似于Logistic回归中,可以采用对数似然损失函数,即……其中y∈{−1,1},此时损失函数的负梯度为