← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9831.d · 生成模型:DeepSeek-V4.1-Flash

误分样本权重指数放大

理解等级:中级

样本权重的更新式为

w_{k+1,i} = (w_ki / Z_k) · exp(−α_k · y_i · T_k(x_i)), y_i ∈ {−1, 1}

因为 y_i·T_k(x_i) 在预测正确时为 +1、错误时为 −1,所以逐样本看只有两种结果:

本轮预测 乘上的因子 效果
正确 exp(−α_k) 权重缩小
错误 exp(+α_k) 权重放大

两者的相对倍数固定为 exp(2α_k)。把 α_k = ½ln((1−e)/e) 代进去,exp(2α_k) = (1−e)/e。例如 e = 0.1 时,一个错分样本的权重相当于 9 个正确样本,但它同时还是会被其他正确样本稀释——真正决定影响力的是这个比值。

小数字演算:三个样本初始权重都是 1/3,本轮 e = 0.2、α = 0.693。设样本 1 被分错、样本 2 和 3 分对,则未归一化的新权重为

  • 样本 1:0.333 × 2.0 = 0.667
  • 样本 2、3:0.333 × 0.5 = 0.167(各)

归一化因子 Z = 0.667 + 0.167 + 0.167 = 1.0,新权重约为 (0.67, 0.17, 0.17)。一个错分样本的权重从 1⁄3 涨到 2/3,下一轮的基学习器会为它付出明显更多代价。

Z_k 的作用只是把权重重新拉回”和为 1”的分布,不改变样本之间的相对比例,因此它对学习结果没有影响,只影响数值稳定性和后续公式的书写。

这条规则的后果是注意力逐轮向难样本集中:训练越往后,剩余的高权重样本越是那些前几轮一直分不对的。若这些样本恰是标签噪声或离群点,模型就会被迫围着它们转,这正是 AdaBoost 对噪声敏感的机制来源(见 [[噪声敏感来自权重放大]])。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第10章《AdaBoost》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00013.html) - 结论依据:原文给出权重更新式含归一化因子 Z_k,并推导出误分样本权重变大、正确样本权重变小,称之为 AdaBoost 的第二个巧妙之处。 - 原始内容:这样导致的一个效果就是:上一轮被错误分类了的样本,在这一轮中,其对应的样本权重会被放大;而上一轮被正确分类了的样本,在这一轮中,其对应的样本权重会被缩小。