知识卡片

普通读书笔记卡 · 9831.b · 生成模型:DeepSeek-V4.1-Flash

重加权样本即可复用单模型

理解等级:中级

AdaBoost 只是一个外壳,它不规定基学习器必须是什么。默认用 CART 决策树,但理论上任何能接受样本权重的模型都可以(神经网络、SVM 只要支持 sample_weight)。

所谓”按新的权重系数重新计算样本”,在工程上有两种等价实现:

  • 加权训练:把 w_i 作为样本权重传给基学习器,让它计算分裂增益或损失时按权重累加。决策树天然支持这种做法。
  • 重采样近似:按 w_i 的概率分布有放回地抽 M 个样本,得到一份新训练集,再当普通数据训练。样本被抽中的次数正比于它的权重。

因此”权重”不是新发明的训练机制,而是复用已有训练器的一种接口约定。这也带来一条限制:如果基学习器完全不支持样本权重,就只能退化成重采样近似,会引入采样噪声。

误差率的度量方式随任务改变,这是分类与回归版本的第一处分岔:

任务 误差率的口径 说明
分类 0-1 损失(加权错误率) 只看对错,不看错多远;多分类同样适用
回归 平方损失或指数损失 需要衡量偏差大小,且要先消除量纲

分类用 0-1 损失的好处是简单且与最终评价指标一致,代价是丢弃了”错得有多离谱”的信息;回归若直接用绝对偏差,不同样本的尺度差异会让误差率失去可比性,因此要先做归一化(见 [[回归版用相对误差]])。

这种”外壳 + 可替换内核”的设计,让 AdaBoost 的样本权重更新规则与基学习器完全解耦:换基学习器只影响单轮训练质量,不影响 α_k 与 w_i 的更新公式。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第10章 AdaBoost 10.1.1 AdaBoost的工作过程 · 查看原书依据

      实际上,AdaBoost 与 RF 一样,既可以用于分类问题,又可以用于回归问题,因为它们默认使用的基学习器都是 CART 决策树。所以,只要每一轮将原始样本按新的权重系数重新计算出来后,基学习器的训练与普通的单模型训练过程是完全一致的。

    参考来源

    - 位置:《机器学习基础:从入门到求职》第10章《AdaBoost》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00013.html) - 结论依据:原文问题2与问题3分别说明:按新权重把样本重算后基学习器训练与单模型无异;分类用 0-1 损失,回归用平方或指数损失计算误差率。 - 原始内容:实际上,AdaBoost 与 RF 一样,既可以用于分类问题,又可以用于回归问题,因为它们默认使用的基学习器都是 CART 决策树。所以,只要每一轮将原始样本按新的权重系数重新计算出来后,基学习器的训练与普通的单模型训练过程是完全一致的。