知识卡片

结构图卡 · 9633.m · 生成模型:DeepSeek-V4.1-Flash

AdaBoost是分步可加模型

理解等级:中级

把 AdaBoost 的最终分类器展开,会发现它是一个可加模型 fM(x)=Σ{m=1}^{M} β_m b(x;γ_m):β_m 是第 m 项的系数,b(x;γ_m) 是以 γ_m 为参数的基函数(这里就是一棵树,γ_m 包含分枝变量、切点与叶节点取值)。可加模型的理想解法是最小化训练集上的总损失 Σ_i L(y_i,f(x_i)),但同时对全部参数优化通常解不出来。于是改用分步向前(forward stagewise):给定初始 f_0,每一步只优化新增的一项,fm(x)=f{m-1}(x)+β_m b(x;γ_m),前面已定的项不再改动。这与逐步(stepwise)回归不同,后者每加一项还会重新调整已有系数。AdaBoost 正是这条路线的一个特例:每步加一棵树,系数就是 α_m。

结构图:

flowchart LR
  A["f_0(x)=0"] --> B["f_1=f_0+β_1b_1"]
  B --> C["f_2=f_1+β_2b_2"]
  C --> D["..."]
  D --> E["f_M 加权求和"]
  E --> F["sgn(f_M(x)) 分类"]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 决策树与组合方法 · 查看原书依据

      对于大多数损失函数和基函数,上式的最优解一般很难求得。通常可以使用分步向前(forward stagewise)的方式拟合。也就是给定初始函数f0(x),对于第m步迭代,寻找最优的基函数b(x; γm)和展开式系数βm:

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第5章 决策树与组合方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter7_0003.xhtml,5.3.2 可加模型:从统计的角度看AdaBoost) - 结论依据:原文给出可加模型形式、系数与基函数含义,说明最优解难求因而采用分步向前拟合并逐项累加,同时区分了 stagewise 与 stepwise。 - 原始内容:对于大多数损失函数和基函数,上式的最优解一般很难求得。通常可以使用分步向前(forward stagewise)的方式拟合。也就是给定初始函数f0(x),对于第m步迭代,寻找最优的基函数b(x; γm)和展开式系数βm: