知识卡片

普通读书笔记卡 · 9831.h · 生成模型:DeepSeek-V4.1-Flash

指数损失推出 AdaBoost

理解等级:高级

10.1 的两条规则看起来是设计出来的:为什么权重更新要用指数、为什么 α 取对数比?10.2 给出回答——它们是最小化指数损失的必然结果。

把强分类器写成加法模型,并逐轮累加:

fk(x) = f{k−1}(x) + α_k T_k(x)

损失函数取指数损失 L = Σ_i exp(−y_i f(x_i)),优化目标是让它在每一轮下降。代入上式:

L = Σ_i exp(−yi f{k−1}(x_i)) · exp(−y_i α_k T_k(x_i))

前一项 exp(−yi f{k−1}(x_i)) 只依赖前 k−1 轮,在本轮是常数。把它记作 W_ki,它就充当了第 i 个样本在本轮的权重——权重不是外加的,而是”前轮已经犯下的损失”。于是本轮只需最小化

Σ_i W_ki · exp(−y_i α_k T_k(x_i))

对 α_k 求偏导并令其为 0,解出

α_k = ½ · ln((1 − e_k) / e_k)

其中 e_k 是以 Wki 加权的错误率。再把 W{k+1,i} = W_ki · exp(−y_i α_k T_k(x_i)) 展开,正是 10.1 的权重更新式。原文逐一比对后指出:α_k 完全一致,e_k 与权重更新式只差归一化因子。

这条推导解释了三个设计问题:

  1. 为什么是指数而不是别的。逐样本损失 exp(−y f(x)) 在误分类时大于 1、正确时小于 1,因此压低它必然优先压低误分样本的损失;同时 Σexp(−y f) 始终不小于误分类个数,最小化它也就压住了训练错误率。它是 0-1 损失的一个光滑替代(代理损失),好处是可微、便于逐轮求解。
  2. 为什么权重能自动更新。样本权重就是累积损失,不需要额外规则。
  3. 为什么是前向分步而不是联合优化。每轮只解一个 α_k 和一棵树,把 K 轮联合优化拆成 K 个可解的子问题,代价是得到的是贪心解而非全局最优。

所以 AdaBoost = 加法模型 + 前向分步 + 指数损失,三者缺一不可。换成平方损失就得到第 11 章的提升树,换成一般损失并只保留一阶信息就得到 GBDT。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第10章《AdaBoost》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00013.html) - 结论依据:原文以加法模型 + 前向分步 + 指数损失重新推导:把前轮损失记为常数权重 W_ki,对 α_k 求偏导置零,得到的 α_k 与样本权重更新式与 10.1 的经验规则一致。 - 原始内容:AdaBoost 分类模型的模型为加法模型,学习算法为前向分步学习算法,损失函数为指数函数。模型为加法模型比较好理解,我们最终的强分类器是由若干个弱分类器加权求和得到的。