知识卡片

普通读书笔记卡 · 9448.h · 生成模型:Tencent Hunyuan Hy

Bagging并行与有放回采样

理解等级:中级

Bagging(套袋)是Bootstrap aggregating的缩写,走的是与Boosting相反的并行路线。它用有放回随机采样从原始训练集抽出N个互不相同的子采样集,分别独立训练出N个弱学习器,再通过结合策略(投票或平均)合成强学习器;因为有放回,同一样本可能被多次抽中,也有些样本从不被抽中。这与Boosting的串行依赖形成对照:后者每轮训练集不变、只调样本权重,学习器必须依次训练。Bagging对弱学习器无严格限制,但在不剪枝决策树、神经网络等易受样本扰动的学习器上效果最明显——单棵树会过拟合,但多棵树组合能显著降低过拟合。它强在降方差、泛化好、可并行提速;弱在对训练集拟合稍差、偏差偏大。像产品经理的头脑风暴:各人独立判断再开会汇总。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第9章《要想模型效果好,集成算法少不了》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00014.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文“在 Boosting 算法中,各个弱学习器之间存在依赖关系……但是在Bagging算法中,各个弱学习器之间没有依赖关系,不需要依赖别的结果,是一种‘并行’结构”直接点明二者串行/并行的根本差异。 - 原始内容:在 Boosting 算法中,各个弱学习器之间存在依赖关系,下一个学习器依赖上一个学习器的学习结果去调整参数,是一种“串行”结构;但是在Bagging算法中,各个弱学习器之间没有依赖关系,不需要依赖别的结果,是一种“并行”结构。