知识卡片

普通读书笔记卡 · 9831.c · 生成模型:DeepSeek-V4.1-Flash

误差率决定投票权重

理解等级:中级

二分类下,第 k 个基学习器的投票权重取

α_k = ½ · ln((1 − e_k) / e_k)

其中 e_k 是加权错误率。这个式子只有两个输入,但性质很强:

e_k(错误率) α_k 含义
0.5 0 与随机猜测无异,没有投票权
0.4 0.203 略有话语权
0.2 0.693 权重明显上升
0.1 1.099 主导投票
→ 0 → ∞ 近乎完美,权重发散

三点值得注意:

  1. 单调递减且过零点在 0.5。误差率低于随机猜测才有正权重,等于随机猜测时权重为 0,高于 0.5 时权重为负——此时把它的预测反过来用反而更好,公式自动给出了这个符号。
  2. 没有上界。e_k 极小时 α_k 会非常大,一个几乎完美的基学习器可能压倒其余所有票。真实数据里 e_k 很少接近 0,但这也是后面需要 learning_rate 缩减的原因之一。
  3. 多分类要平移阈值。L 个类别时,随机猜中的概率是 1/L 而不是 1/2,公式改为

α_k = ½ · ln((1 − e_k) / e_k) + ln(L − 1)

当 L = 2 时 ln(L−1) = 0,退化成二分类式。加上这一项后,只要 e_k < 1 − 1/L(即优于随机猜测),α_k 就为正。例如 L = 3、e_k = 0.2:½·ln4 + ln2 = 0.693 + 0.693 = 1.386。

为什么叫”巧妙”:不需要额外的模型选择或验证集,单靠训练误差率就完成了基学习器的质量排序与加权,让最终投票自动偏向更准的成员。代价是这个权重完全由训练集上的表现决定,训练集里的噪声会直接转换成话语权(见 [[噪声敏感来自权重放大]])。α_k 与样本权重更新式并非人为拍定,它们由指数损失最小化推出,见 [[指数损失推出 AdaBoost]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第10章《AdaBoost》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00013.html) - 结论依据:原文给出多分类投票权重公式含 ln(L−1) 项,并说明取值可保证 α>0 且随误差率减小而增大,称之为 AdaBoost 的第一个巧妙之处。 - 原始内容:分类器的分类误差率越小,最后它获得的投票权重就越大,从而自动让最终的模型偏向于预测效果较好的基学习器,这就是AdaBoost的第一个巧妙之处。