知识卡片
误差率决定投票权重
二分类下,第 k 个基学习器的投票权重取
α_k = ½ · ln((1 − e_k) / e_k)
其中 e_k 是加权错误率。这个式子只有两个输入,但性质很强:
| e_k(错误率) | α_k | 含义 |
|---|---|---|
| 0.5 | 0 | 与随机猜测无异,没有投票权 |
| 0.4 | 0.203 | 略有话语权 |
| 0.2 | 0.693 | 权重明显上升 |
| 0.1 | 1.099 | 主导投票 |
| → 0 | → ∞ | 近乎完美,权重发散 |
三点值得注意:
- 单调递减且过零点在 0.5。误差率低于随机猜测才有正权重,等于随机猜测时权重为 0,高于 0.5 时权重为负——此时把它的预测反过来用反而更好,公式自动给出了这个符号。
- 没有上界。e_k 极小时 α_k 会非常大,一个几乎完美的基学习器可能压倒其余所有票。真实数据里 e_k 很少接近 0,但这也是后面需要 learning_rate 缩减的原因之一。
- 多分类要平移阈值。L 个类别时,随机猜中的概率是 1/L 而不是 1/2,公式改为
α_k = ½ · ln((1 − e_k) / e_k) + ln(L − 1)
当 L = 2 时 ln(L−1) = 0,退化成二分类式。加上这一项后,只要 e_k < 1 − 1/L(即优于随机猜测),α_k 就为正。例如 L = 3、e_k = 0.2:½·ln4 + ln2 = 0.693 + 0.693 = 1.386。
为什么叫”巧妙”:不需要额外的模型选择或验证集,单靠训练误差率就完成了基学习器的质量排序与加权,让最终投票自动偏向更准的成员。代价是这个权重完全由训练集上的表现决定,训练集里的噪声会直接转换成话语权(见 [[噪声敏感来自权重放大]])。α_k 与样本权重更新式并非人为拍定,它们由指数损失最小化推出,见 [[指数损失推出 AdaBoost]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 AdaBoost 10.1.2 AdaBoost多分类问题 · 查看原书依据
分类器的分类误差率越小,最后它获得的投票权重就越大,从而自动让最终的模型偏向于预测效果较好的基学习器,这就是AdaBoost的第一个巧妙之处。
参考来源
- 位置:《机器学习基础:从入门到求职》第10章《AdaBoost》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00013.html)
- 结论依据:原文给出多分类投票权重公式含 ln(L−1) 项,并说明取值可保证 α>0 且随误差率减小而增大,称之为 AdaBoost 的第一个巧妙之处。
- 原始内容:分类器的分类误差率越小,最后它获得的投票权重就越大,从而自动让最终的模型偏向于预测效果较好的基学习器,这就是AdaBoost的第一个巧妙之处。