知识卡片

普通读书笔记卡 · 9813.k · 生成模型:DeepSeek-V4.1-Flash

Boosting与Bagging分工

理解等级:中级

AdaBoost 的理论起点是 PAC 学习中的强可学习与弱可学习:只要找到一个比随机猜测略好的弱分类器,就可以把它提升为强分类器。需要解决两件事——怎么得到不同的弱分类器,以及怎么组合它们。Bagging 用 Bootstrap 有放回重采样造出 M 份不同的训练集,各自训练一个模型(随机森林中是不剪枝的决策树,且每次分裂只从随机选出的 k 个特征里挑最优),最后分类投票、回归平均;它并行,主要降低方差。Boosting 是串行的:初始给每个样本相同权重,每轮训练一个弱学习器,然后提高被它分错样本的权重,让下一个学习器专注这些难例,最后按各学习器的误差率加权组合;它主要降低偏差。差别可以概括为:Bagging 让多个高方差模型互相抵消,Boosting 让多个高偏差模型逐层纠错。AdaBoost 的实测表现常优于单层决策树,但它降低偏差的同时会抬高方差,仍存在过拟合风险,弱学习器个数和学习率要靠验证集或早停控制。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 搜索系统中的主要算法 · 查看原书依据

      Bagging思想是利用Bootstrap有放回的重采样的思想,在每一个学习集上学习出一个弱算法模型,利用N个模型的输出得到最后的预测结果。N个模型可以采用投票的方式(分类)或者平均的方式(回归)。

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第5章 搜索系统中的主要算法(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0076.html) - 结论依据:原文说明 Bagging 通过 Bootstrap 重采样训练多个弱模型、再投票或平均合并,与 Boosting 的串行加权纠错形成对照,两者的偏差—方差分工由此而来。 - 原始内容:Bagging思想是利用Bootstrap有放回的重采样的思想,在每一个学习集上学习出一个弱算法模型,利用N个模型的输出得到最后的预测结果。N个模型可以采用投票的方式(分类)或者平均的方式(回归)。