← 返回刚才阅读的位置

知识卡片

操作参考卡 · 9831.i · 生成模型:DeepSeek-V4.1-Flash

AdaBoost 的调参入口

理解等级:中级

scikit-learn 把参数分成两层:AdaBoost 框架本身的,和所选基学习器的。

参数 作用 默认 调整要点
base_estimator 基学习器类型 CART(分类树/回归树) 换成别的模型时必须支持样本权重
n_estimators 迭代轮数 = 基学习器个数 50 太小欠拟合,太大过拟合
learning_rate 每轮权重缩减系数 η 1 小于 1 时需配合更多轮数
algorithm 投票权重算法(仅分类) SAMME.R 选 SAMME.R 要求基学习器能输出概率
loss 回归损失(仅回归) linear 可选 linear / square / exponential

learning_rate 的实际作用是改写加法模型:

fk(x) = f{k−1}(x) + η · α_k · G_k(x), 0 < η ≤ 1

η 把每一步的步子迈小,避免后期基学习器权重过大导致过拟合。它和 n_estimators 是一对:η 减半,通常要把轮数大约翻倍才能达到同等拟合程度,所以二者必须联合搜索,单独调其中一个很容易得出错误结论。

一条可用的调参顺序:

  1. 固定 η = 1,先用验证集曲线确定 n_estimators 的量级(观察误差何时不再下降);
  2. 把 η 降到 0.5 或 0.1,同步放大 n_estimators,比较是否更稳;
  3. 最后调基学习器自身的复杂度(树的 max_depth、min_samples_leaf 等),默认的浅树往往就够用。

诊断用的属性比参数更有信息量:estimators_ 是训练好的基学习器列表,estimatorweights 是各轮的 α_k,estimatorerrors 是各轮的误差率,featureimportances 给出特征重要度。把后两个画出来就能读出训练是否正常(见 [[三条训练曲线的读数]])。

注意 AdaBoost 的基学习器应当弱:默认的浅层 CART 正是为此。若把 base_estimator 换成很深的树或拟合能力很强的模型,单轮误差率会接近 0,α_k 趋于发散,集成反而失去意义。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第10章《AdaBoost》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00013.html) - 结论依据:原文按「框架参数 + 基学习器参数」两类列出 AdaBoostClassifier/Regressor 的参数、属性与方法,并指出 learning_rate 与 n_estimators 需联合调参。 - 原始内容:n_estimators 太小容易欠拟合,n_estimators 太大又容易过拟合,需要根据实际情况选择一个合适的数值。……它可以起到协调迭代次数的作用,一般和上面的n_estimators一起进行调参。