知识卡片
噪声敏感来自权重放大
AdaBoost 的优点常被概括为”精度高、不易过拟合”,但这两句话都有条件,理解条件比记住结论重要。
为什么不容易过拟合:每轮只训练一个弱学习器,且它的权重由训练误差率决定,误差率高的学习器拿不到多少票。同时基学习器本身容量小(浅树),整体模型的复杂度增长是渐进的。这是”相对”的不易过拟合,不是免疫。
为什么对噪声敏感:机制在权重更新上。一个标签错误的样本或离群点,无论模型怎么学都分不对,于是每一轮它都被判为”错分”,权重按 (1−e)/e 的倍数持续放大。几轮之后它会成为训练集里权重最高的样本,后续所有基学习器都被迫优先把它分对——模型为了一个错误标签而扭曲整体决策边界。
把它与 Bagging 对照就清楚了:随机森林靠重采样,噪声样本只进入部分树,错误被平均稀释;AdaBoost 靠重加权,噪声样本每一轮都在场且权重越来越大,错误被逐轮放大。这是两种集成范式在鲁棒性上的结构性差异。
缓解手段有几种,各有代价:
| 手段 | 做法 | 代价 |
|---|---|---|
| 限制轮数 | 减小 n_estimators | 可能欠拟合 |
| 缩小步长 | 降低 learning_rate | 需要更多轮,训练更慢 |
| 清洗数据 | 剔除/修正可疑标签 | 依赖人工,可能误删难样本 |
| 换损失/换模型 | 改用对噪声鲁棒的损失(如 GBDT 的 Huber) | 需换框架,见 [[步长缩减让逼近更细]] |
还有一个与精度无关的缺点:基学习器之间存在强关联,训练必须串行,无法像随机森林那样并行,因此在大数据场景下没有速度优势。这一点是 Boosting 范式的固有属性,任何实现层面的优化都不能消除(XGBoost 的并行也是在特征粒度而非树粒度,见第 11 章)。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 AdaBoost 10.5 AdaBoost的优/缺点 · 查看原书依据
由于各个基学习器之间存在强关联,不利于模型的并行化,因此在处理大数据时没有优势。
参考来源
- 位置:《机器学习基础:从入门到求职》第10章《AdaBoost》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00013.html)
- 结论依据:原文列出优点为基学习器可选、分类精度高且不易过拟合,缺点为对噪声敏感、基学习器强关联不利于并行。
- 原始内容:AdaBoost 对噪声比较敏感,因为异常样本在迭代中很可能会获得较高的权重。……由于各个基学习器之间存在强关联,不利于模型的并行化,因此在处理大数据时没有优势。