知识卡片
AdaBoost 的调参入口
scikit-learn 把参数分成两层:AdaBoost 框架本身的,和所选基学习器的。
| 参数 | 作用 | 默认 | 调整要点 |
|---|---|---|---|
| base_estimator | 基学习器类型 | CART(分类树/回归树) | 换成别的模型时必须支持样本权重 |
| n_estimators | 迭代轮数 = 基学习器个数 | 50 | 太小欠拟合,太大过拟合 |
| learning_rate | 每轮权重缩减系数 η | 1 | 小于 1 时需配合更多轮数 |
| algorithm | 投票权重算法(仅分类) | SAMME.R | 选 SAMME.R 要求基学习器能输出概率 |
| loss | 回归损失(仅回归) | linear | 可选 linear / square / exponential |
learning_rate 的实际作用是改写加法模型:
fk(x) = f{k−1}(x) + η · α_k · G_k(x), 0 < η ≤ 1
η 把每一步的步子迈小,避免后期基学习器权重过大导致过拟合。它和 n_estimators 是一对:η 减半,通常要把轮数大约翻倍才能达到同等拟合程度,所以二者必须联合搜索,单独调其中一个很容易得出错误结论。
一条可用的调参顺序:
- 固定 η = 1,先用验证集曲线确定 n_estimators 的量级(观察误差何时不再下降);
- 把 η 降到 0.5 或 0.1,同步放大 n_estimators,比较是否更稳;
- 最后调基学习器自身的复杂度(树的 max_depth、min_samples_leaf 等),默认的浅树往往就够用。
诊断用的属性比参数更有信息量:estimators_ 是训练好的基学习器列表,estimatorweights 是各轮的 α_k,estimatorerrors 是各轮的误差率,featureimportances 给出特征重要度。把后两个画出来就能读出训练是否正常(见 [[三条训练曲线的读数]])。
注意 AdaBoost 的基学习器应当弱:默认的浅层 CART 正是为此。若把 base_estimator 换成很深的树或拟合能力很强的模型,单轮误差率会接近 0,α_k 趋于发散,集成反而失去意义。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 AdaBoost 10.3 AdaBoost的scikit-learn实现 · 查看原书依据
n_estimators 太小容易欠拟合,n_estimators 太大又容易过拟合,需要根据实际情况选择一个合适的数值。
参考来源
- 位置:《机器学习基础:从入门到求职》第10章《AdaBoost》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00013.html)
- 结论依据:原文按「框架参数 + 基学习器参数」两类列出 AdaBoostClassifier/Regressor 的参数、属性与方法,并指出 learning_rate 与 n_estimators 需联合调参。
- 原始内容:n_estimators 太小容易欠拟合,n_estimators 太大又容易过拟合,需要根据实际情况选择一个合适的数值。……它可以起到协调迭代次数的作用,一般和上面的n_estimators一起进行调参。