知识卡片

结构图卡 · 9633.k · 生成模型:DeepSeek-V4.1-Flash

AdaBoost自适应重采样

理解等级:中级

AdaBoost 与 Bagging 的分岔点在抽样方式。Bagging 的每一轮都是从原训练集 T 做等概率自助采样,各轮互不影响;AdaBoost 只在第一轮用等概率 p_1(i)=1/n 抽样,此后第 m 轮的抽样概率 pm(i) 根据前一轮分类器的错分情况调整:被 h{m-1} 判错的样本概率调高,判对的调低。于是新抽到的训练集 T_m 会反复包含那些“难判”的样本,下一棵树被迫去修正前面的错误。流程是:抽样→建树→在全体训练集上回代、记录每个样本是否被判错→按错分情况更新抽样概率→进入下一轮;M 轮结束后把所有树加权组合。它因此被称为自适应的重新抽样(adaptive resample),与 Bagging 的独立重采样形成对照。

结构图:

flowchart TD
  A["等概率抽样 T_1"] --> B["训练树 h_1"]
  B --> C["回代求错分集合"]
  C --> D["提高错分样本概率"]
  D --> E["按新概率抽 T_m"]
  E --> F["训练树 h_m"]
  F --> C
  F --> G["M 轮后加权投票"]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 决策树与组合方法 · 查看原书依据

      只有训练集T 1 应用Bootstrap方法抽样得到,在接下来的过程中,重新抽样Tm(m=2, …, M)的概率根据之前构建的分类器的错分率重新调整,即自适应的重新抽样方法(adaptive resample)。

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第5章 决策树与组合方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter7_0003.xhtml,5.3.1 AdaBoost算法) - 结论依据:原文强调 AdaBoost 与 Bagging 最大不同是只有 T_1 由 Bootstrap 抽样得到,之后重新抽样的概率按前一轮分类器的错分率调整,并给出三步流程。 - 原始内容:只有训练集T 1 应用Bootstrap方法抽样得到,在接下来的过程中,重新抽样Tm(m=2, …, M)的概率根据之前构建的分类器的错分率重新调整,即自适应的重新抽样方法(adaptive resample)。