知识卡片
残差迭代的训练循环
训练流程只有四步,循环 K 次:
- 初始化 f_0(x) = 0(也可以取训练集标签均值,收敛更快,但原理相同);
- 对每个样本算残差 R_ki = yi − f{k−1}(x_i);
- 用数据集 {(x_i, R_ki)} 训练第 k 棵 CART 回归树 T_k;
- 累加 fk(x) = f{k−1}(x) + T_k(x),回到第 2 步。
用原文的年龄预测例子走一遍(每棵树限制叶子数 ≤ 2,迭代两轮):
| 用户 | 真实年龄 | 第一棵树预测 | 第一轮残差 | 第二棵树预测 | 最终预测 |
|---|---|---|---|---|---|
| A | 14 | 15 | −1 | −1 | 14 |
| B | 16 | 15 | +1 | +1 | 16 |
| C | 24 | 25 | −1 | −1 | 24 |
| D | 26 | 25 | +1 | +1 | 26 |
第一棵树按”月消费是否大于 1500 元”划分,左叶 (A, B) 的年龄均值 15、右叶 (C, D) 的均值 25——CART 回归树的叶子输出就是该叶样本标签的均值。于是残差变成 −1、+1、−1、+1,第二棵树的目标从原来的 14/16/24/26 换成了这四个残差。第二棵树改用”上网类型”划分,两个叶子的残差均值正好是 −1 和 +1,残差归零,训练集上完全拟合。
这个过程暴露了两个性质:
- 每棵树只学”剩下的部分”。第一棵树的输出是粗糙的分段常数,第二棵只负责修正那几个单位的偏差,树的深度不需要很大。
- 外推能力有限。给一个消费 1800 元、倾向网购的测试样本,模型预测 25 + 1 = 26,而真实年龄 30,误差 4 岁。树模型在训练数据覆盖范围之外只能给出边界值,加法结构也补不上这个缺口。
迭代次数 K 是硬性停止条件:即使残差还没到 0,到了 K 轮也会停。真实场景里 K 往往很大(几十到几百),每棵树更深,靠多棵浅树累积出精细的拟合,见 [[步长缩减让逼近更细]]。
结构图:
flowchart TD
A[初始化 f0 为 0] --> B[算残差 R=y-fk-1]
B --> C[以残差为新标签训练 CART 回归树]
C --> D[累加 fk=fk-1+Tk]
D --> E{已训练 K 棵}
E -- 否 --> B
E -- 是 --> F[输出加法模型 fK]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第11章 提升树
原书出处 · 1 处
- 第11章 提升树 11.1 提升树的定义 · 查看原书依据
根据月消费金额是否大于1500元可以将A和B两位用户分到第一棵树的左叶子节点,将C和D两位用户分到右叶子节点,这样左叶子节点中所有样本点的年龄均值就为15,右叶子节点中所有样本点的年龄均值就为25。
参考来源
- 位置:《机器学习基础:从入门到求职》第11章《提升树》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00014.html)
- 结论依据:原文给出回归提升树的四步流程(初始化、算残差、拟合残差、累加),并用四位用户预测年龄的例子演示两轮迭代后残差归零。
- 原始内容:根据月消费金额是否大于1500元可以将A和B两位用户分到第一棵树的左叶子节点,将C和D两位用户分到右叶子节点,这样左叶子节点中所有样本点的年龄均值就为15,右叶子节点中所有样本点的年龄均值就为25。