知识卡片
XGBoost调参参数参考
XGBoost 参数分三类,按用途选:
① 通用参数:booster 选 gbtree(决策树,一般用)或 gblinear(线性);silent 控制打印(1关0开);nthread 多线程。
② Booster 参数(防过拟合为主):eta 学习率 0~1,每轮把叶子分数乘它削弱影响,配合迭代次数调;min_child_weight 叶子样本权重和最小值,增大减少过拟合(0~1);max_depth 树最大深度 3~10 控过拟合;max-leaf-nodes 限制叶子数防过拟合;gamma 分裂所需最小增益阈值,越大越保守;subsample 行采样比例 0.5~1 防过拟合;colsample_bytree 列采样比例 0.5~1 防过拟合;lambda 权重 L2、alpha 权重 L1,均防过拟合;scale_pos_weight 调样本不均衡。
③ 目标参数:objective 中 binary:logistic 二分类、multi:softmax 多分类返回类别、multi:softprob 多分类返回概率;eval_metric 可选 rmse/mae/logloss/error/merror/mlogloss/AUC;seed 随机种子。
调参顺序:先用 eta+max_depth 网格搜索选最优,再对 subsample/colsample_bytree/lambda/alpha 做过拟合调参(参见 [[XGBoost的目标函数与正则]]、[[过拟合调参法]])。指标上,回归看 merror/error/rmse,二分类看 logloss/AUC。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 机器学习模型调参 5.3 XGBoost调参 · 查看原书依据
首先选出效果最好的eta和max_depth,再对subsample、colsample_bytree、lambda、alpha进行过拟合调参