知识卡片

普通读书笔记卡 · 9831 · 生成模型:DeepSeek-V4.1-Flash

Boosting 靠串行纠错

理解等级:初级

集成学习有两条相反的路线,区别在于基学习器之间训练时有没有依赖。

Bagging(以随机森林为代表):对训练集做多份有放回随机采样,每份样本训练一个模型,各模型互不知情,可以同时训练,最后投票或取平均。它的作用主要是降方差——单棵树对样本扰动很敏感,多棵独立树的错误方向相互抵消。

Boosting(本章主线):所有基学习器共用同一份训练集,但必须一个接一个地训练。第 k 个基学习器拿到的是”前 k−1 个基学习器在哪些样本上还做错了”这一信息,于是它可以专门去补前人的缺口。

二者的差别可以直接列表对照:

维度 Bagging / 随机森林 Boosting / AdaBoost
基学习器关系 独立,可并行 强关联,必须串行
训练集 每棵树一份重采样 同一份,但样本权重逐轮变化
主要收益 降低方差 降低偏差(逐步补错)
典型风险 单树过深仍会过拟合 标签噪声被反复放大

为什么串行能降低偏差:单个弱学习器(哪怕只是深度为 1 的决策树桩)只能切一刀,偏差很大;但把”上一轮错在哪”当作下一轮的输入条件,相当于把一个大拟合任务拆成一串小纠错任务,每个新学习器只需处理前一轮剩下的那部分误差,累加之后整体偏差被逐步填平。

代价也随之而来:训练不能并行(每一步都依赖上一步),并且因为每轮都在放大错误样本的作用,训练集里的错误标签会被越放越大,这解释了 AdaBoost 为什么对噪声敏感(见 [[噪声敏感来自权重放大]])。AdaBoost 是这条路线最早成型的算法,后续的提升树、GBDT、XGBoost 都沿用”加法 + 前向分步”的骨架。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第10章《AdaBoost》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00013.html) - 结论依据:原文开篇即对比 Bagging 与 Boosting:前者基学习器相互独立,后者后者建立在前者之上,并点出 AdaBoost、提升树、GBDT/XGBoost 同属这一族。 - 原始内容:与Bagging模型不同,Boosting模型的各个基学习器之间存在强关联,即后面的基学习器是建立在它前面的基学习器的基础之上的。