知识卡片
步长缩减让逼近更细
实现中会在每棵树前乘一个缩减系数 η(0 < η ≤ 1):
fk(x) = f{k−1}(x) + η · T_k(x; θ_k)
η = 1 就是原始的前向分步,sklearn 中 GBDT 的 learning_rate 默认为 0.1。
为什么小步更好:每棵树是在当前残差上做的一次有偏估计——它受本轮样本、本轮分裂点选择的偶然性影响,学到的方向大体正确,但幅度经常过头。一次走满(η = 1)等于完全相信这棵树,包括它的噪声;走一小步只取它的一部分,把”学过头”的风险分摊到后续多棵树上。多棵树各自犯不同的错,平均下来更接近真实方向。
代价是轮数:η 缩小到十分之一,达到同等拟合程度通常需要约十倍的树。训练时间近似线性增长,模型体积也变大。所以 η 与 n_estimators 必须成对考虑:
| η | 典型轮数 | 特点 |
|---|---|---|
| 1.0 | 很少 | 收敛快,容易过拟合、不稳定 |
| 0.1(默认) | 数百 | 精度与成本平衡 |
| 0.01 | 数千 | 更平滑,训练慢,边际收益递减 |
这条经验在两个框架里默认值不同:AdaBoost 的 learning_rate 默认 1,GBDT 默认 0.1。原因不是口味差异——AdaBoost 的 α_k 已经按误差率自动缩放过(准的学习器权重才大),而 GBDT 的树输出是对残差的直接拟合,没有这层自适应缩放,需要外部 η 来压。
还要区分 η 与 subsample:η 缩小的是每步的幅度(作用在函数值上),subsample 缩小的是每步用的数据(作用在样本上),两者都降低方差但机制不同,常一起使用,见 [[GBDT 调参四维度]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第11章 提升树
原书出处 · 1 处
- 第11章 提升树 11.2.2 GBDT和GBRT模型的处理过程 · 查看原书依据
它的指导思想是:每次走一小步逐渐逼近的结果要比每次迈一大步逼近的结果更精细,即每一棵 CART 树的结果都不完全可信,所以每次只取一棵树的一部分,最后通过多学习一些树来弥补。
参考来源
- 位置:《机器学习基础:从入门到求职》第11章《提升树》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00014.html)
- 结论依据:原文在 GBDT 流程后补充实际处理中会在负梯度前乘步长因子起缩减作用,并解释其指导思想是小步多次逼近更精细。
- 原始内容:它的指导思想是:每次走一小步逐渐逼近的结果要比每次迈一大步逼近的结果更精细,即每一棵 CART 树的结果都不完全可信,所以每次只取一棵树的一部分,最后通过多学习一些树来弥补。