知识卡片

普通读书笔记卡 · 9633.n · 生成模型:DeepSeek-V4.1-Flash

指数损失下的AdaBoost

理解等级:高级

二分类的 y 记为 +1/-1,f(x) 为实数,分类规则是 sgn(f(x)),则 y·f(x) 为正表示判对,为负表示判错。指数损失定义为 L(y,f)=exp(-y f(x)):判错越离谱损失越大,判对且把握大时趋于 0。将 f 写成可加形式后,第 m 步要最小化 Σ_i exp(-yi(f{m-1}(x_i)+βh(x_i)))=Σ_i w_i exp(-β y_i h(x_i)),其中 w_i=exp(-yi f{m-1}(x_i)) 只依赖前一步,可视为样本权重。给定 β>0,最小化等价于在权重 w_i 下最小化加权错分率;再对 β 求最优,得 β_m=½ln((1-ε_m)/ε_m)。权重更新恰好等价于 AdaBoost 的抽样概率更新。所以二分类 AdaBoost 就是最小化指数损失的分步向前可加模型。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 决策树与组合方法 · 查看原书依据

      式(5.6)相当于 AdaBoost算法中对重抽样样本构建最优决策树。分类规则为sgn(f(x)),对于二分类问题,这与AdaBoost算法HA(x)等价。所以我们得到结论:二分类AdaBoost算法是最小化指数损失L(y, f(x))=exp[-yf(x)]的分步向前可加模型。

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第5章 决策树与组合方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter7_0003.xhtml,5.3.2 可加模型:从统计的角度看AdaBoost) - 结论依据:原文推导二分类 AdaBoost 为最小化指数损失的分步向前可加模型,说明加权指数损失可分解为样本权重与 β、h 的两步优化,并指出权重更新等价于重抽样概率。 - 原始内容:式(5.6)相当于 AdaBoost算法中对重抽样样本构建最优决策树。分类规则为sgn(f(x)),对于二分类问题,这与AdaBoost算法HA(x)等价。所以我们得到结论:二分类AdaBoost算法是最小化指数损失L(y, f(x))=exp[-yf(x)]的分步向前可加模型。