知识卡片
AdaBoost是分步可加模型
把 AdaBoost 的最终分类器展开,会发现它是一个可加模型 fM(x)=Σ{m=1}^{M} β_m b(x;γ_m):β_m 是第 m 项的系数,b(x;γ_m) 是以 γ_m 为参数的基函数(这里就是一棵树,γ_m 包含分枝变量、切点与叶节点取值)。可加模型的理想解法是最小化训练集上的总损失 Σ_i L(y_i,f(x_i)),但同时对全部参数优化通常解不出来。于是改用分步向前(forward stagewise):给定初始 f_0,每一步只优化新增的一项,fm(x)=f{m-1}(x)+β_m b(x;γ_m),前面已定的项不再改动。这与逐步(stepwise)回归不同,后者每加一项还会重新调整已有系数。AdaBoost 正是这条路线的一个特例:每步加一棵树,系数就是 α_m。
结构图:
flowchart LR
A["f_0(x)=0"] --> B["f_1=f_0+β_1b_1"]
B --> C["f_2=f_1+β_2b_2"]
C --> D["..."]
D --> E["f_M 加权求和"]
E --> F["sgn(f_M(x)) 分类"]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 决策树与组合方法 · 查看原书依据
对于大多数损失函数和基函数,上式的最优解一般很难求得。通常可以使用分步向前(forward stagewise)的方式拟合。也就是给定初始函数f0(x),对于第m步迭代,寻找最优的基函数b(x; γm)和展开式系数βm:
参考来源
- 位置:《大数据挖掘与统计机器学习》第5章 决策树与组合方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter7_0003.xhtml,5.3.2 可加模型:从统计的角度看AdaBoost)
- 结论依据:原文给出可加模型形式、系数与基函数含义,说明最优解难求因而采用分步向前拟合并逐项累加,同时区分了 stagewise 与 stepwise。
- 原始内容:对于大多数损失函数和基函数,上式的最优解一般很难求得。通常可以使用分步向前(forward stagewise)的方式拟合。也就是给定初始函数f0(x),对于第m步迭代,寻找最优的基函数b(x; γm)和展开式系数βm: