负梯度拟合残差的普适性

Gradient Boosting的核心洞察是：不直接优化损失函数本身，而是让每一轮新模型去拟合损失函数在当前预测值处的负梯度方向（即”伪残差”）。当损失函数取平方误差时，负梯度恰好等于真实值减预测值的普通残差，这也是”残差”这个直觉说法的由来；但把优化目标换成负梯度后，同一套迭代框架可以直接套用到任意可微损失函数（分类的对数损失、排序的pairwise损失等），不需要针对每种任务重新推导。这解释了为什么Boosting家族能同时统一分类、回归、排序问题——本质是把”学习目标”抽象成了梯度场，而不是具体的误差数值。