知识卡片
GBDT 的一轮训练
把上一张卡的推导落成可执行的流程:
- 用原始训练集训练第一棵 CART 回归树,f_1(x) = T_1(x)。
- 对 k = 2, …, K 循环:
- 对每个样本算负梯度 R_ki,把它当作”第 k−1 轮的残差估计”;
- 用 {(x_i, R_ki)} 训练第 k 棵 CART 回归树,得到叶子区域 D_k1, …, D_kJ;
- 每个叶子区域输出该区域内样本负梯度的均值 γ_kj = mean(R_ki | x_i ∈ D_kj);
- 累加 fk = f{k−1} + η · Σ_j γ_kj · 1[x ∈ D_kj]。
- 输出 f_K。
两个细节容易被跳过,但都影响结果:
为什么叶子输出取均值:一棵树把输入空间划成若干不相交的区域,同一区域内所有样本共享一个输出值。在平方误差下,让区域内误差和最小的常数就是该区域标签的均值。所以”取均值”不是习惯,而是该区域上的最优常数解。换成对数损失时,这个最优常数要重新算,不再是简单均值(见 [[做分类只换损失函数]])。
为什么 R_ki 能当标签用:它既是损失下降的方向,也是数值型的量。树只要学会”在这个样本上输出多大的 R”,下一轮累加后就往正确方向走了一步。整个 GBDT 可以理解为”在函数空间里做梯度下降”——每个样本的预测值是一个坐标,每棵树是一次带结构的梯度步。
注意 K 与 η 的分工:K 决定走多少步,η 决定每步迈多大。两者不是独立的,见 [[步长缩减让逼近更细]]。
结构图:
flowchart TD
A[训练首棵回归树 f1] --> B[算负梯度 Rki]
B --> C[用 Rki 作标签训练第 k 棵回归树]
C --> D[各叶子取样本均值作输出]
D --> E[按步长加到 fk-1 上]
E --> F{达到 K 轮}
F -- 否 --> B
F -- 是 --> G[输出 fK]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第11章 提升树
原书出处 · 1 处
- 第11章 提升树 11.2.2 GBDT和GBRT模型的处理过程 · 查看原书依据
综上所述,在提升树模型中,我们只需用第k轮的CART回归树去拟合损失函数L(y,f(x))的负梯度在当前模型fk−1
参考来源
- 位置:《机器学习基础:从入门到求职》第11章《提升树》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00014.html)
- 结论依据:原文给出 GBDT 回归流程:算负梯度、以其替代 y 训练第 k 棵树、按叶子区域求样本输出均值、累加,并说明实现中会再加步长因子。
- 原始内容:综上所述,在提升树模型中,我们只需用第k轮的CART回归树去拟合损失函数L(y,f(x))的负梯度在当前模型fk−1……(x)处的值即可保证模型的整体损失不断下降,直至收敛于一个比较理想的值。