知识卡片
指数损失推出 AdaBoost
10.1 的两条规则看起来是设计出来的:为什么权重更新要用指数、为什么 α 取对数比?10.2 给出回答——它们是最小化指数损失的必然结果。
把强分类器写成加法模型,并逐轮累加:
fk(x) = f{k−1}(x) + α_k T_k(x)
损失函数取指数损失 L = Σ_i exp(−y_i f(x_i)),优化目标是让它在每一轮下降。代入上式:
L = Σ_i exp(−yi f{k−1}(x_i)) · exp(−y_i α_k T_k(x_i))
前一项 exp(−yi f{k−1}(x_i)) 只依赖前 k−1 轮,在本轮是常数。把它记作 W_ki,它就充当了第 i 个样本在本轮的权重——权重不是外加的,而是”前轮已经犯下的损失”。于是本轮只需最小化
Σ_i W_ki · exp(−y_i α_k T_k(x_i))
对 α_k 求偏导并令其为 0,解出
α_k = ½ · ln((1 − e_k) / e_k)
其中 e_k 是以 Wki 加权的错误率。再把 W{k+1,i} = W_ki · exp(−y_i α_k T_k(x_i)) 展开,正是 10.1 的权重更新式。原文逐一比对后指出:α_k 完全一致,e_k 与权重更新式只差归一化因子。
这条推导解释了三个设计问题:
- 为什么是指数而不是别的。逐样本损失 exp(−y f(x)) 在误分类时大于 1、正确时小于 1,因此压低它必然优先压低误分样本的损失;同时 Σexp(−y f) 始终不小于误分类个数,最小化它也就压住了训练错误率。它是 0-1 损失的一个光滑替代(代理损失),好处是可微、便于逐轮求解。
- 为什么权重能自动更新。样本权重就是累积损失,不需要额外规则。
- 为什么是前向分步而不是联合优化。每轮只解一个 α_k 和一棵树,把 K 轮联合优化拆成 K 个可解的子问题,代价是得到的是贪心解而非全局最优。
所以 AdaBoost = 加法模型 + 前向分步 + 指数损失,三者缺一不可。换成平方损失就得到第 11 章的提升树,换成一般损失并只保留一阶信息就得到 GBDT。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 AdaBoost 10.2 AdaBoost的原理 · 查看原书依据
AdaBoost 分类模型的模型为加法模型,学习算法为前向分步学习算法,损失函数为指数函数。模型为加法模型比较好理解,我们最终的强分类器是由若干个弱分类器加权求和得到的。
参考来源
- 位置:《机器学习基础:从入门到求职》第10章《AdaBoost》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00013.html)
- 结论依据:原文以加法模型 + 前向分步 + 指数损失重新推导:把前轮损失记为常数权重 W_ki,对 α_k 求偏导置零,得到的 α_k 与样本权重更新式与 10.1 的经验规则一致。
- 原始内容:AdaBoost 分类模型的模型为加法模型,学习算法为前向分步学习算法,损失函数为指数函数。模型为加法模型比较好理解,我们最终的强分类器是由若干个弱分类器加权求和得到的。