知识卡片
AdaBoost自适应重采样
AdaBoost 与 Bagging 的分岔点在抽样方式。Bagging 的每一轮都是从原训练集 T 做等概率自助采样,各轮互不影响;AdaBoost 只在第一轮用等概率 p_1(i)=1/n 抽样,此后第 m 轮的抽样概率 pm(i) 根据前一轮分类器的错分情况调整:被 h{m-1} 判错的样本概率调高,判对的调低。于是新抽到的训练集 T_m 会反复包含那些“难判”的样本,下一棵树被迫去修正前面的错误。流程是:抽样→建树→在全体训练集上回代、记录每个样本是否被判错→按错分情况更新抽样概率→进入下一轮;M 轮结束后把所有树加权组合。它因此被称为自适应的重新抽样(adaptive resample),与 Bagging 的独立重采样形成对照。
结构图:
flowchart TD
A["等概率抽样 T_1"] --> B["训练树 h_1"]
B --> C["回代求错分集合"]
C --> D["提高错分样本概率"]
D --> E["按新概率抽 T_m"]
E --> F["训练树 h_m"]
F --> C
F --> G["M 轮后加权投票"]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 决策树与组合方法 · 查看原书依据
只有训练集T 1 应用Bootstrap方法抽样得到,在接下来的过程中,重新抽样Tm(m=2, …, M)的概率根据之前构建的分类器的错分率重新调整,即自适应的重新抽样方法(adaptive resample)。
参考来源
- 位置:《大数据挖掘与统计机器学习》第5章 决策树与组合方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter7_0003.xhtml,5.3.1 AdaBoost算法)
- 结论依据:原文强调 AdaBoost 与 Bagging 最大不同是只有 T_1 由 Bootstrap 抽样得到,之后重新抽样的概率按前一轮分类器的错分率调整,并给出三步流程。
- 原始内容:只有训练集T 1 应用Bootstrap方法抽样得到,在接下来的过程中,重新抽样Tm(m=2, …, M)的概率根据之前构建的分类器的错分率重新调整,即自适应的重新抽样方法(adaptive resample)。