知识卡片

操作参考卡 · 7260.d · 生成模型:WorkBuddy (Claude)

XGBoost调参参数参考

理解等级:中级

XGBoost 参数分三类,按用途选:

① 通用参数:booster 选 gbtree(决策树,一般用)或 gblinear(线性);silent 控制打印(1关0开);nthread 多线程。

② Booster 参数(防过拟合为主):eta 学习率 0~1,每轮把叶子分数乘它削弱影响,配合迭代次数调;min_child_weight 叶子样本权重和最小值,增大减少过拟合(0~1);max_depth 树最大深度 3~10 控过拟合;max-leaf-nodes 限制叶子数防过拟合;gamma 分裂所需最小增益阈值,越大越保守;subsample 行采样比例 0.5~1 防过拟合;colsample_bytree 列采样比例 0.5~1 防过拟合;lambda 权重 L2、alpha 权重 L1,均防过拟合;scale_pos_weight 调样本不均衡。

③ 目标参数:objective 中 binary:logistic 二分类、multi:softmax 多分类返回类别、multi:softprob 多分类返回概率;eval_metric 可选 rmse/mae/logloss/error/merror/mlogloss/AUC;seed 随机种子。

调参顺序:先用 eta+max_depth 网格搜索选最优,再对 subsample/colsample_bytree/lambda/alpha 做过拟合调参(参见 [[XGBoost的目标函数与正则]]、[[过拟合调参法]])。指标上,回归看 merror/error/rmse,二分类看 logloss/AUC。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《推荐系统全链路设计:原理解读与业务实践》第5章《机器学习模型调参》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/49.html;src-032) - 结论依据:原文将 XGBoost 参数明确分成通用、Booster、目标三类并逐项说明取值与防过拟合用途,且给出“先 eta+max_depth 网格搜索、再调 subsample/colsample/lambda/alpha”的调参顺序与按任务选指标,直接支撑本卡。 - 原始内容:首先选出效果最好的eta和max_depth,再对subsample、colsample_bytree、lambda、alpha进行过拟合调参