← 返回刚才阅读的位置

知识卡片

结构图卡 · 9830.a · 生成模型:DeepSeek-V4.1-Flash

Bagging就是抽样加投票

理解等级:初级

Bagging(Bootstrap Aggregating)由两个动作拼成,名字里已经写全了:bootstrap 是”有放回重采样”,aggregating 是”汇总”。

流程:从大小为 N 的训练集里有放回地抽 N 个样本,组成一份新训练集;用它训练一个基学习器(决策树、KNN、逻辑回归都行);把上面两步重复 T 次,得到 T 个基学习器;预测时让每个基学习器各投一票,分类按少数服从多数取众数,回归取平均。

“有放回”是全部关键。有放回意味着同一份子集里会出现重复样本,也必然漏掉一部分原样本:每份子集约覆盖原数据的 63.2%(推导见 [[袋外样本是免费的验证集]])。于是 T 份训练集彼此不同又都不完整,训练出的 T 个模型就有差异——这正是投票能起作用的前提。

为什么均等投票而不是加权。Bagging 的基学习器是同质的、地位对等、独立训练,没有先验依据说谁更可信,加权反而要额外估计权重,容易过拟合。Bagging 用”随机化 + 平均”换稳定性,用平均换掉个体噪声。

代价有三点:训练成本约为单模型的 T 倍(但各基学习器独立,可以并行,所以墙钟时间不一定差);模型体积涨 T 倍;可解释性下降,你不再能指着一棵树说”因为这个原因”。

结构图:

flowchart TD
    A[原始训练集 N 个样本] --> B[有放回抽 N 个 形成子集]
    B --> C[训练一个基学习器]
    C --> D{已训练 T 个?}
    D -->|否| B
    D -->|是| E[T 个基学习器各自预测]
    E --> F[分类取众数 回归取均值]
    F --> G[最终预测]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第9章《第9章 随机森林》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00012.html) - 结论依据:原文描述 Bagging 的重复抽样—训练—投票流程,并特别指出每次采样是有放回的,因此子集之间会部分重叠。 - 原始内容:Bagging模型的核心思想是每次同类别、彼此之间无强关联的基学习器,以均等投票机制进行基学习器的组合……需要注意的是,Bagging模型每次对样本数据的采样是有放回的,这样每次采样的数据可能会部分包含前面采样的数据