知识卡片
XGBoost 三类参数
XGBoost 的参数按作用分成三类,调参时先分清在哪一层动手。
一、通用参数(控制整体行为)
| 参数 | 默认 | 说明 |
|---|---|---|
| booster | gbtree | gbtree 树模型 / gbliner 线性模型 |
| nthread | 最大线程数 | 控制并行线程,设为 CPU 核数 |
二、Booster 参数(控制每棵树)
| 参数 | 默认 | 说明 |
|---|---|---|
| learning_rate | 0.3 | 步长缩减,越小越稳但需更多轮 |
| max_depth | 6 | 树最大深度 |
| min_child_weight | 1 | 叶子最小样本权重和(不是样本数) |
| gamma | 0 | 分裂所需的最小损失下降 |
| subsample | — | 每棵树的行采样比例 |
| colsample_bytree | 1 | 每棵树的列采样比例 |
| reg_lambda | 1 | 叶子权重的 L2 正则 |
| reg_alpha | 1 | 叶子权重的 L1 正则 |
| scale_pos_weight | 1 | 类别不平衡时放大正类权重 |
| max_delta_step | 0 | 限制每棵树权重变化步长,类别极不平衡时有用 |
三、学习目标参数(控制优化什么)
- objective:binary:logistic(二分类,输出概率)、multi:softmax(多分类,输出类别,需同时设 num_class)、multi:softprob(输出各类概率)。
- eval_metric:回归默认 rmse,分类默认 error;常用还有 mae、logloss、merror、mlogloss、auc。
- seed:随机种子,默认 0,用于复现。
调参顺序建议(先粗后细):
- 定 objective 与 eval_metric——目标错了后面全白调;
- 固定 learning_rate 0.1 左右,用早停定树的数量;
- 调 max_depth 与 min_child_weight(控制树的容量);
- 调 gamma(分裂门槛)压掉无用的分裂;
- 加 subsample 与 colsample_bytree(0.5–0.9)降方差;
- 最后用 reg_lambda / reg_alpha 微调,必要时降 learning_rate 并增轮数。
两个易踩的坑:min_child_weight 是权重和,样本带权重时它与”样本数”不等价;gamma 单位是损失值,与 eval_metric 不同量纲,不要拿验证集指标直接当阈值。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第11章 提升树
原书出处 · 1 处
- 第11章 提升树 11.3.2 XGBoost调参 · 查看原书依据
min_child_weight:XGBoost的这个参数是最小样本权重的和,而GBM参数是最小样本总数,默认为1。
参考来源
- 位置:《机器学习基础:从入门到求职》第11章《提升树》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00014.html)
- 结论依据:原文把参数分为通用参数、Booster 参数与学习目标参数三类,并逐项给出默认值,特别指出 min_child_weight 的语义与 GBM 不同。
- 原始内容:XGBoost的作者把所有的参数分成了三类:通用参数、Booster参数和学习目标参数。……min_child_weight:XGBoost的这个参数是最小样本权重的和,而GBM参数是最小样本总数,默认为1。