知识卡片
Bagging就是抽样加投票
Bagging(Bootstrap Aggregating)由两个动作拼成,名字里已经写全了:bootstrap 是”有放回重采样”,aggregating 是”汇总”。
流程:从大小为 N 的训练集里有放回地抽 N 个样本,组成一份新训练集;用它训练一个基学习器(决策树、KNN、逻辑回归都行);把上面两步重复 T 次,得到 T 个基学习器;预测时让每个基学习器各投一票,分类按少数服从多数取众数,回归取平均。
“有放回”是全部关键。有放回意味着同一份子集里会出现重复样本,也必然漏掉一部分原样本:每份子集约覆盖原数据的 63.2%(推导见 [[袋外样本是免费的验证集]])。于是 T 份训练集彼此不同又都不完整,训练出的 T 个模型就有差异——这正是投票能起作用的前提。
为什么均等投票而不是加权。Bagging 的基学习器是同质的、地位对等、独立训练,没有先验依据说谁更可信,加权反而要额外估计权重,容易过拟合。Bagging 用”随机化 + 平均”换稳定性,用平均换掉个体噪声。
代价有三点:训练成本约为单模型的 T 倍(但各基学习器独立,可以并行,所以墙钟时间不一定差);模型体积涨 T 倍;可解释性下降,你不再能指着一棵树说”因为这个原因”。
结构图:
flowchart TD
A[原始训练集 N 个样本] --> B[有放回抽 N 个 形成子集]
B --> C[训练一个基学习器]
C --> D{已训练 T 个?}
D -->|否| B
D -->|是| E[T 个基学习器各自预测]
E --> F[分类取众数 回归取均值]
F --> G[最终预测]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 随机森林 9.1 Bagging模型 · 查看原书依据
Bagging模型的核心思想是每次同类别、彼此之间无强关联的基学习器,以均等投票机制进行基学习器的组合
参考来源
- 位置:《机器学习基础:从入门到求职》第9章《第9章 随机森林》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00012.html)
- 结论依据:原文描述 Bagging 的重复抽样—训练—投票流程,并特别指出每次采样是有放回的,因此子集之间会部分重叠。
- 原始内容:Bagging模型的核心思想是每次同类别、彼此之间无强关联的基学习器,以均等投票机制进行基学习器的组合……需要注意的是,Bagging模型每次对样本数据的采样是有放回的,这样每次采样的数据可能会部分包含前面采样的数据