知识卡片
GBDT 调参四维度
GBDT 的参数虽多,实际只调节四个维度。
一、轮数与步长(互相绑定)
| 参数 | 默认 | 说明 |
|---|---|---|
| n_estimators | 100 | 树的数量;太小欠拟合,太大过拟合 |
| learning_rate | 0.1 | 每棵树的缩减系数,与 n_estimators 反向搭配 |
二、单棵树的复杂度
| 参数 | 默认 | 说明 |
|---|---|---|
| max_depth | 3 | 影响最大,浅树是 GBDT 的常态 |
| max_leaf_nodes | None | 特征多时限制叶子数可防过拟合 |
| min_samples_split | 2 | 节点再分裂所需最小样本数 |
| min_samples_leaf | 1 | 叶子最少样本数,样本多时应加大 |
| min_impurity_split | — | 分裂所需最小不纯度下降,低于阈值不再分叉 |
注意 GBDT 的树应当浅。每棵树只拟合一小部分残差,深树会把噪声也拟合进去,且会让后续树无残差可学。
三、随机性(降方差)
- subsample:每轮使用的样本比例,默认 1。取 0.5–0.8 通常能提升泛化,太小则偏差上升。
- max_features:分裂时考虑的最大特征数,默认 None(全部);log2 / sqrt 会引入特征抽样。
四、损失函数(决定鲁棒性)
- 分类:deviance(对数似然,默认)、exponential(指数)。
- 回归:ls(平方,默认)、lad(绝对)、huber、quantile。噪声大时推荐 huber——它对大残差线性惩罚,不像 ls 那样平方放大,这是 GBDT 比 AdaBoost 抗噪的关键开关。
一条可用的调参顺序:先定 loss;用 η=0.1 + 网格/早停定 n_estimators;再调 max_depth(3–8);最后加 subsample 与 min_samples_leaf 压过拟合。
诊断靠属性而非猜:trainscore 是每轮的整体损失(应单调下降,后期趋平),estimators_ 存基学习器,featureimportances 给出特征重要度。若 trainscore 还在降而验证集变差,就是过拟合信号,优先降 max_depth 或加 subsample。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第11章 提升树
原书出处 · 1 处
- 第11章 提升树 11.2.3 梯度提升模型的scikit-learn实现 · 查看原书依据
该值是一个0~1之间的数,表示对训练样本的采样。如果设置为小于1的小数,则表示只使用样本中的一部分去训练,合理选择可以增加模型的泛化能力,但是不能选得过小,否则会增加模型的偏差(推荐在0.5至0.8之间)。
参考来源
- 位置:《机器学习基础:从入门到求职》第11章《提升树》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00014.html)
- 结论依据:原文按框架参数与基学习器参数列出 GradientBoostingClassifier/Regressor 的参数,并给出 subsample、learning_rate、max_depth 等的默认值与调整建议。
- 原始内容:该值是一个0~1之间的数,表示对训练样本的采样。如果设置为小于1的小数,则表示只使用样本中的一部分去训练,合理选择可以增加模型的泛化能力,但是不能选得过小,否则会增加模型的偏差(推荐在0.5至0.8之间)。