← 返回刚才阅读的位置

知识卡片

结构图卡 · 9832.b · 生成模型:DeepSeek-V4.1-Flash

残差迭代的训练循环

理解等级:中级

训练流程只有四步,循环 K 次:

  1. 初始化 f_0(x) = 0(也可以取训练集标签均值,收敛更快,但原理相同);
  2. 对每个样本算残差 R_ki = yi − f{k−1}(x_i);
  3. 用数据集 {(x_i, R_ki)} 训练第 k 棵 CART 回归树 T_k;
  4. 累加 fk(x) = f{k−1}(x) + T_k(x),回到第 2 步。

用原文的年龄预测例子走一遍(每棵树限制叶子数 ≤ 2,迭代两轮):

用户 真实年龄 第一棵树预测 第一轮残差 第二棵树预测 最终预测
A 14 15 −1 −1 14
B 16 15 +1 +1 16
C 24 25 −1 −1 24
D 26 25 +1 +1 26

第一棵树按”月消费是否大于 1500 元”划分,左叶 (A, B) 的年龄均值 15、右叶 (C, D) 的均值 25——CART 回归树的叶子输出就是该叶样本标签的均值。于是残差变成 −1、+1、−1、+1,第二棵树的目标从原来的 14/16/24/26 换成了这四个残差。第二棵树改用”上网类型”划分,两个叶子的残差均值正好是 −1 和 +1,残差归零,训练集上完全拟合。

这个过程暴露了两个性质:

  • 每棵树只学”剩下的部分”。第一棵树的输出是粗糙的分段常数,第二棵只负责修正那几个单位的偏差,树的深度不需要很大。
  • 外推能力有限。给一个消费 1800 元、倾向网购的测试样本,模型预测 25 + 1 = 26,而真实年龄 30,误差 4 岁。树模型在训练数据覆盖范围之外只能给出边界值,加法结构也补不上这个缺口。

迭代次数 K 是硬性停止条件:即使残差还没到 0,到了 K 轮也会停。真实场景里 K 往往很大(几十到几百),每棵树更深,靠多棵浅树累积出精细的拟合,见 [[步长缩减让逼近更细]]。

结构图:

flowchart TD
  A[初始化 f0 为 0] --> B[算残差 R=y-fk-1]
  B --> C[以残差为新标签训练 CART 回归树]
  C --> D[累加 fk=fk-1+Tk]
  D --> E{已训练 K 棵}
  E -- 否 --> B
  E -- 是 --> F[输出加法模型 fK]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第11章 提升树 11.1 提升树的定义 · 查看原书依据

      根据月消费金额是否大于1500元可以将A和B两位用户分到第一棵树的左叶子节点,将C和D两位用户分到右叶子节点,这样左叶子节点中所有样本点的年龄均值就为15,右叶子节点中所有样本点的年龄均值就为25。

    参考来源

    - 位置:《机器学习基础:从入门到求职》第11章《提升树》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00014.html) - 结论依据:原文给出回归提升树的四步流程(初始化、算残差、拟合残差、累加),并用四位用户预测年龄的例子演示两轮迭代后残差归零。 - 原始内容:根据月消费金额是否大于1500元可以将A和B两位用户分到第一棵树的左叶子节点,将C和D两位用户分到右叶子节点,这样左叶子节点中所有样本点的年龄均值就为15,右叶子节点中所有样本点的年龄均值就为25。