知识卡片

操作参考卡 · 9832.g · 生成模型:DeepSeek-V4.1-Flash

GBDT 调参四维度

理解等级:中级

GBDT 的参数虽多,实际只调节四个维度。

一、轮数与步长(互相绑定)

参数 默认 说明
n_estimators 100 树的数量;太小欠拟合,太大过拟合
learning_rate 0.1 每棵树的缩减系数,与 n_estimators 反向搭配

二、单棵树的复杂度

参数 默认 说明
max_depth 3 影响最大,浅树是 GBDT 的常态
max_leaf_nodes None 特征多时限制叶子数可防过拟合
min_samples_split 2 节点再分裂所需最小样本数
min_samples_leaf 1 叶子最少样本数,样本多时应加大
min_impurity_split — 分裂所需最小不纯度下降,低于阈值不再分叉

注意 GBDT 的树应当浅。每棵树只拟合一小部分残差,深树会把噪声也拟合进去,且会让后续树无残差可学。

三、随机性(降方差)

  • subsample:每轮使用的样本比例,默认 1。取 0.5–0.8 通常能提升泛化,太小则偏差上升。
  • max_features:分裂时考虑的最大特征数,默认 None(全部);log2 / sqrt 会引入特征抽样。

四、损失函数(决定鲁棒性)

  • 分类:deviance(对数似然,默认)、exponential(指数)。
  • 回归:ls(平方,默认)、lad(绝对)、huber、quantile。噪声大时推荐 huber——它对大残差线性惩罚,不像 ls 那样平方放大,这是 GBDT 比 AdaBoost 抗噪的关键开关。

一条可用的调参顺序:先定 loss;用 η=0.1 + 网格/早停定 n_estimators;再调 max_depth(3–8);最后加 subsample 与 min_samples_leaf 压过拟合。

诊断靠属性而非猜:trainscore 是每轮的整体损失(应单调下降,后期趋平),estimators_ 存基学习器,featureimportances 给出特征重要度。若 trainscore 还在降而验证集变差,就是过拟合信号,优先降 max_depth 或加 subsample。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第11章《提升树》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00014.html) - 结论依据:原文按框架参数与基学习器参数列出 GradientBoostingClassifier/Regressor 的参数,并给出 subsample、learning_rate、max_depth 等的默认值与调整建议。 - 原始内容:该值是一个0~1之间的数,表示对训练样本的采样。如果设置为小于1的小数,则表示只使用样本中的一部分去训练,合理选择可以增加模型的泛化能力,但是不能选得过小,否则会增加模型的偏差(推荐在0.5至0.8之间)。