知识卡片
平方损失把目标变成残差
回归提升树用平方损失 L(y, f_k(x)) = [y − f_k(x)]²。把 fk = f{k−1} + T_k 代进去,做一次移项:
L = [y − f_{k−1}(x) − T_k(x)]²
括号里前两项与第 k 棵树无关,令
Rk = y − f{k−1}(x)
它就是”前 k−1 轮预测完之后还差多少”,即残差。于是损失变成
L = [R_k − T_k(x)]²
这个式子的含义很直接:第 k 棵树不需要去拟合原始标签 y,只需要去拟合残差 R_k。最小化损失与”让 T_k 尽量接近 R_k”是同一件事。
这一步替换带来了三个后果:
- 标签被换掉了。第 k 轮的训练集从 {(x_i, y_i)} 变成 {(x_i, R_ki)},原始 y 只在算残差时用一次。这是”逐轮纠错”的代数来源:每棵树专心补前人的缺口,而不是重复拟合整个目标。
- 不需要样本权重。AdaBoost 用 w_i 表达”这个样本有多难”,提升树用残差的大小表达同一件事——残差大就意味着还没学会。两种表达在平方损失 + 指数损失下是等价的,但残差形式更容易推广到其他损失。
- 对残差敏感。平方损失把偏差平方,一个大残差(往往是离群点)会主导本轮的拟合目标,这是回归提升树不如 Huber 损失稳健的原因。
边界也要说清:残差形式只在平方损失下成立。换成绝对值损失或对数损失,展开后不会出现”y 减预测值”这一项,需要另一套办法——这正是 [[用负梯度替代残差]] 要解决的问题。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第11章 提升树
原书出处 · 1 处
- 第11章 提升树 11.1 提升树的定义 · 查看原书依据
从上述过程可以看出,回归问题的提升树模型其实就是一个不断去逼近上一轮预测后剩余的残差的过程,下面用一个例子说明。
参考来源
- 位置:《机器学习基础:从入门到求职》第11章《提升树》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00014.html)
- 结论依据:原文由平方损失展开得到 L=[R_k−T_k]²,其中 R_k=y−f_{k−1}(x) 为残差,因而最小化损失等价于让本轮树拟合残差。
- 原始内容:从上述过程可以看出,回归问题的提升树模型其实就是一个不断去逼近上一轮预测后剩余的残差的过程,下面用一个例子说明。