知识卡片

普通读书笔记卡 · 9831.k · 生成模型:DeepSeek-V4.1-Flash

噪声敏感来自权重放大

理解等级:中级

AdaBoost 的优点常被概括为”精度高、不易过拟合”,但这两句话都有条件,理解条件比记住结论重要。

为什么不容易过拟合:每轮只训练一个弱学习器,且它的权重由训练误差率决定,误差率高的学习器拿不到多少票。同时基学习器本身容量小(浅树),整体模型的复杂度增长是渐进的。这是”相对”的不易过拟合,不是免疫。

为什么对噪声敏感:机制在权重更新上。一个标签错误的样本或离群点,无论模型怎么学都分不对,于是每一轮它都被判为”错分”,权重按 (1−e)/e 的倍数持续放大。几轮之后它会成为训练集里权重最高的样本,后续所有基学习器都被迫优先把它分对——模型为了一个错误标签而扭曲整体决策边界。

把它与 Bagging 对照就清楚了:随机森林靠重采样,噪声样本只进入部分树,错误被平均稀释;AdaBoost 靠重加权,噪声样本每一轮都在场且权重越来越大,错误被逐轮放大。这是两种集成范式在鲁棒性上的结构性差异。

缓解手段有几种,各有代价:

手段 做法 代价
限制轮数 减小 n_estimators 可能欠拟合
缩小步长 降低 learning_rate 需要更多轮,训练更慢
清洗数据 剔除/修正可疑标签 依赖人工,可能误删难样本
换损失/换模型 改用对噪声鲁棒的损失(如 GBDT 的 Huber) 需换框架,见 [[步长缩减让逼近更细]]

还有一个与精度无关的缺点:基学习器之间存在强关联,训练必须串行,无法像随机森林那样并行,因此在大数据场景下没有速度优势。这一点是 Boosting 范式的固有属性,任何实现层面的优化都不能消除(XGBoost 的并行也是在特征粒度而非树粒度,见第 11 章)。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第10章《AdaBoost》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00013.html) - 结论依据:原文列出优点为基学习器可选、分类精度高且不易过拟合,缺点为对噪声敏感、基学习器强关联不利于并行。 - 原始内容:AdaBoost 对噪声比较敏感,因为异常样本在迭代中很可能会获得较高的权重。……由于各个基学习器之间存在强关联,不利于模型的并行化,因此在处理大数据时没有优势。