← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9832.e · 生成模型:DeepSeek-V4.1-Flash

步长缩减让逼近更细

理解等级:中级

实现中会在每棵树前乘一个缩减系数 η(0 < η ≤ 1):

fk(x) = f{k−1}(x) + η · T_k(x; θ_k)

η = 1 就是原始的前向分步,sklearn 中 GBDT 的 learning_rate 默认为 0.1。

为什么小步更好:每棵树是在当前残差上做的一次有偏估计——它受本轮样本、本轮分裂点选择的偶然性影响,学到的方向大体正确,但幅度经常过头。一次走满(η = 1)等于完全相信这棵树,包括它的噪声;走一小步只取它的一部分,把”学过头”的风险分摊到后续多棵树上。多棵树各自犯不同的错,平均下来更接近真实方向。

代价是轮数:η 缩小到十分之一,达到同等拟合程度通常需要约十倍的树。训练时间近似线性增长,模型体积也变大。所以 η 与 n_estimators 必须成对考虑:

η 典型轮数 特点
1.0 很少 收敛快,容易过拟合、不稳定
0.1(默认) 数百 精度与成本平衡
0.01 数千 更平滑,训练慢,边际收益递减

这条经验在两个框架里默认值不同:AdaBoost 的 learning_rate 默认 1,GBDT 默认 0.1。原因不是口味差异——AdaBoost 的 α_k 已经按误差率自动缩放过(准的学习器权重才大),而 GBDT 的树输出是对残差的直接拟合,没有这层自适应缩放,需要外部 η 来压。

还要区分 η 与 subsample:η 缩小的是每步的幅度(作用在函数值上),subsample 缩小的是每步用的数据(作用在样本上),两者都降低方差但机制不同,常一起使用,见 [[GBDT 调参四维度]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第11章《提升树》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00014.html) - 结论依据:原文在 GBDT 流程后补充实际处理中会在负梯度前乘步长因子起缩减作用,并解释其指导思想是小步多次逼近更精细。 - 原始内容:它的指导思想是:每次走一小步逐渐逼近的结果要比每次迈一大步逼近的结果更精细,即每一棵 CART 树的结果都不完全可信,所以每次只取一棵树的一部分,最后通过多学习一些树来弥补。