知识卡片

操作参考卡 · 9832.m · 生成模型:DeepSeek-V4.1-Flash

XGBoost 三类参数

理解等级:中级

XGBoost 的参数按作用分成三类,调参时先分清在哪一层动手。

一、通用参数(控制整体行为)

参数 默认 说明
booster gbtree gbtree 树模型 / gbliner 线性模型
nthread 最大线程数 控制并行线程,设为 CPU 核数

二、Booster 参数(控制每棵树)

参数 默认 说明
learning_rate 0.3 步长缩减,越小越稳但需更多轮
max_depth 6 树最大深度
min_child_weight 1 叶子最小样本权重和(不是样本数)
gamma 0 分裂所需的最小损失下降
subsample — 每棵树的行采样比例
colsample_bytree 1 每棵树的列采样比例
reg_lambda 1 叶子权重的 L2 正则
reg_alpha 1 叶子权重的 L1 正则
scale_pos_weight 1 类别不平衡时放大正类权重
max_delta_step 0 限制每棵树权重变化步长,类别极不平衡时有用

三、学习目标参数(控制优化什么)

  • objective:binary:logistic(二分类,输出概率)、multi:softmax(多分类,输出类别,需同时设 num_class)、multi:softprob(输出各类概率)。
  • eval_metric:回归默认 rmse,分类默认 error;常用还有 mae、logloss、merror、mlogloss、auc。
  • seed:随机种子,默认 0,用于复现。

调参顺序建议(先粗后细):

  1. 定 objective 与 eval_metric——目标错了后面全白调;
  2. 固定 learning_rate 0.1 左右,用早停定树的数量;
  3. 调 max_depth 与 min_child_weight(控制树的容量);
  4. 调 gamma(分裂门槛)压掉无用的分裂;
  5. 加 subsample 与 colsample_bytree(0.5–0.9)降方差;
  6. 最后用 reg_lambda / reg_alpha 微调,必要时降 learning_rate 并增轮数。

两个易踩的坑:min_child_weight 是权重和,样本带权重时它与”样本数”不等价;gamma 单位是损失值,与 eval_metric 不同量纲,不要拿验证集指标直接当阈值。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第11章《提升树》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00014.html) - 结论依据:原文把参数分为通用参数、Booster 参数与学习目标参数三类,并逐项给出默认值,特别指出 min_child_weight 的语义与 GBM 不同。 - 原始内容:XGBoost的作者把所有的参数分成了三类:通用参数、Booster参数和学习目标参数。……min_child_weight:XGBoost的这个参数是最小样本权重的和,而GBM参数是最小样本总数,默认为1。