知识卡片
Boosting 靠串行纠错
集成学习有两条相反的路线,区别在于基学习器之间训练时有没有依赖。
Bagging(以随机森林为代表):对训练集做多份有放回随机采样,每份样本训练一个模型,各模型互不知情,可以同时训练,最后投票或取平均。它的作用主要是降方差——单棵树对样本扰动很敏感,多棵独立树的错误方向相互抵消。
Boosting(本章主线):所有基学习器共用同一份训练集,但必须一个接一个地训练。第 k 个基学习器拿到的是”前 k−1 个基学习器在哪些样本上还做错了”这一信息,于是它可以专门去补前人的缺口。
二者的差别可以直接列表对照:
| 维度 | Bagging / 随机森林 | Boosting / AdaBoost |
|---|---|---|
| 基学习器关系 | 独立,可并行 | 强关联,必须串行 |
| 训练集 | 每棵树一份重采样 | 同一份,但样本权重逐轮变化 |
| 主要收益 | 降低方差 | 降低偏差(逐步补错) |
| 典型风险 | 单树过深仍会过拟合 | 标签噪声被反复放大 |
为什么串行能降低偏差:单个弱学习器(哪怕只是深度为 1 的决策树桩)只能切一刀,偏差很大;但把”上一轮错在哪”当作下一轮的输入条件,相当于把一个大拟合任务拆成一串小纠错任务,每个新学习器只需处理前一轮剩下的那部分误差,累加之后整体偏差被逐步填平。
代价也随之而来:训练不能并行(每一步都依赖上一步),并且因为每轮都在放大错误样本的作用,训练集里的错误标签会被越放越大,这解释了 AdaBoost 为什么对噪声敏感(见 [[噪声敏感来自权重放大]])。AdaBoost 是这条路线最早成型的算法,后续的提升树、GBDT、XGBoost 都沿用”加法 + 前向分步”的骨架。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 AdaBoost 第10章 导语 · 查看原书依据
与Bagging模型不同,Boosting模型的各个基学习器之间存在强关联,即后面的基学习器是建立在它前面的基学习器的基础之上的。
参考来源
- 位置:《机器学习基础:从入门到求职》第10章《AdaBoost》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00013.html)
- 结论依据:原文开篇即对比 Bagging 与 Boosting:前者基学习器相互独立,后者后者建立在前者之上,并点出 AdaBoost、提升树、GBDT/XGBoost 同属这一族。
- 原始内容:与Bagging模型不同,Boosting模型的各个基学习器之间存在强关联,即后面的基学习器是建立在它前面的基学习器的基础之上的。