知识卡片
误分样本权重指数放大
样本权重的更新式为
w_{k+1,i} = (w_ki / Z_k) · exp(−α_k · y_i · T_k(x_i)), y_i ∈ {−1, 1}
因为 y_i·T_k(x_i) 在预测正确时为 +1、错误时为 −1,所以逐样本看只有两种结果:
| 本轮预测 | 乘上的因子 | 效果 |
|---|---|---|
| 正确 | exp(−α_k) | 权重缩小 |
| 错误 | exp(+α_k) | 权重放大 |
两者的相对倍数固定为 exp(2α_k)。把 α_k = ½ln((1−e)/e) 代进去,exp(2α_k) = (1−e)/e。例如 e = 0.1 时,一个错分样本的权重相当于 9 个正确样本,但它同时还是会被其他正确样本稀释——真正决定影响力的是这个比值。
小数字演算:三个样本初始权重都是 1/3,本轮 e = 0.2、α = 0.693。设样本 1 被分错、样本 2 和 3 分对,则未归一化的新权重为
- 样本 1:0.333 × 2.0 = 0.667
- 样本 2、3:0.333 × 0.5 = 0.167(各)
归一化因子 Z = 0.667 + 0.167 + 0.167 = 1.0,新权重约为 (0.67, 0.17, 0.17)。一个错分样本的权重从 1⁄3 涨到 2/3,下一轮的基学习器会为它付出明显更多代价。
Z_k 的作用只是把权重重新拉回”和为 1”的分布,不改变样本之间的相对比例,因此它对学习结果没有影响,只影响数值稳定性和后续公式的书写。
这条规则的后果是注意力逐轮向难样本集中:训练越往后,剩余的高权重样本越是那些前几轮一直分不对的。若这些样本恰是标签噪声或离群点,模型就会被迫围着它们转,这正是 AdaBoost 对噪声敏感的机制来源(见 [[噪声敏感来自权重放大]])。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 AdaBoost 10.1.2 AdaBoost多分类问题 · 查看原书依据
这样导致的一个效果就是:上一轮被错误分类了的样本,在这一轮中,其对应的样本权重会被放大;而上一轮被正确分类了的样本,在这一轮中,其对应的样本权重会被缩小。
参考来源
- 位置:《机器学习基础:从入门到求职》第10章《AdaBoost》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00013.html)
- 结论依据:原文给出权重更新式含归一化因子 Z_k,并推导出误分样本权重变大、正确样本权重变小,称之为 AdaBoost 的第二个巧妙之处。
- 原始内容:这样导致的一个效果就是:上一轮被错误分类了的样本,在这一轮中,其对应的样本权重会被放大;而上一轮被正确分类了的样本,在这一轮中,其对应的样本权重会被缩小。