知识卡片
重加权样本即可复用单模型
AdaBoost 只是一个外壳,它不规定基学习器必须是什么。默认用 CART 决策树,但理论上任何能接受样本权重的模型都可以(神经网络、SVM 只要支持 sample_weight)。
所谓”按新的权重系数重新计算样本”,在工程上有两种等价实现:
- 加权训练:把 w_i 作为样本权重传给基学习器,让它计算分裂增益或损失时按权重累加。决策树天然支持这种做法。
- 重采样近似:按 w_i 的概率分布有放回地抽 M 个样本,得到一份新训练集,再当普通数据训练。样本被抽中的次数正比于它的权重。
因此”权重”不是新发明的训练机制,而是复用已有训练器的一种接口约定。这也带来一条限制:如果基学习器完全不支持样本权重,就只能退化成重采样近似,会引入采样噪声。
误差率的度量方式随任务改变,这是分类与回归版本的第一处分岔:
| 任务 | 误差率的口径 | 说明 |
|---|---|---|
| 分类 | 0-1 损失(加权错误率) | 只看对错,不看错多远;多分类同样适用 |
| 回归 | 平方损失或指数损失 | 需要衡量偏差大小,且要先消除量纲 |
分类用 0-1 损失的好处是简单且与最终评价指标一致,代价是丢弃了”错得有多离谱”的信息;回归若直接用绝对偏差,不同样本的尺度差异会让误差率失去可比性,因此要先做归一化(见 [[回归版用相对误差]])。
这种”外壳 + 可替换内核”的设计,让 AdaBoost 的样本权重更新规则与基学习器完全解耦:换基学习器只影响单轮训练质量,不影响 α_k 与 w_i 的更新公式。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 AdaBoost 10.1.1 AdaBoost的工作过程 · 查看原书依据
实际上,AdaBoost 与 RF 一样,既可以用于分类问题,又可以用于回归问题,因为它们默认使用的基学习器都是 CART 决策树。所以,只要每一轮将原始样本按新的权重系数重新计算出来后,基学习器的训练与普通的单模型训练过程是完全一致的。
参考来源
- 位置:《机器学习基础:从入门到求职》第10章《AdaBoost》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00013.html)
- 结论依据:原文问题2与问题3分别说明:按新权重把样本重算后基学习器训练与单模型无异;分类用 0-1 损失,回归用平方或指数损失计算误差率。
- 原始内容:实际上,AdaBoost 与 RF 一样,既可以用于分类问题,又可以用于回归问题,因为它们默认使用的基学习器都是 CART 决策树。所以,只要每一轮将原始样本按新的权重系数重新计算出来后,基学习器的训练与普通的单模型训练过程是完全一致的。