知识卡片
Bagging重采样后投票平均
Bagging 是 bootstrap aggregating 的缩写。它面对的现实是:手里只有一个训练集 T,却需要多个彼此独立、同分布的训练集。办法是对 T 做自助采样(Bootstrap)——每次等概率、有放回地抽 n 个样本,得到 T_1,…,T_M;有放回意味着同一样本可能被抽中多次,也可能一次不中。在每个 T_m 上训练一个基预测器(通常是决策树),再把它们组合:分类问题投票,即统计 M 个基预测器判为第 j 类的个数 N_j,取 N_j 最大的类;回归问题取 M 个预测值的平均。组合后的分类器记作 H_B,回归预测器记作 F_B。这样做的代价是失去单棵树清晰的结构,换来的是预测精度的提升,前提是基学习器本身不稳定。
结构图:
flowchart TD
A["训练集 T"] --> B["Bootstrap 抽样"]
B --> C["T_1 → 树 h_1"]
B --> D["T_2 → 树 h_2"]
B --> E["T_M → 树 h_M"]
C --> F["投票或平均"]
D --> F
E --> F
F --> G["H_B(x) / F_B(x)"]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 决策树与组合方法 · 查看原书依据
Bagging 是bootstrap aggregating的缩写,它指的是利用Bootstrap 抽样方法对训练集进行抽样,得到一系列新的训练集,对每个训练集构建一个预测器,称为基预测器(base predictor),组合所有的预测器得到最终的预测模型。
参考来源
- 位置:《大数据挖掘与统计机器学习》第5章 决策树与组合方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter7_0002.xhtml,5.2.1 分类、回归问题的Bagging算法)
- 结论依据:原文给出 Bagging 的缩写来源、Bootstrap 抽样构造多个训练集、分类投票与回归平均的组合规则,以及基预测器的记法。
- 原始内容:Bagging 是bootstrap aggregating的缩写,它指的是利用Bootstrap 抽样方法对训练集进行抽样,得到一系列新的训练集,对每个训练集构建一个预测器,称为基预测器(base predictor),组合所有的预测器得到最终的预测模型。