知识卡片
回归版用相对误差
回归版 AdaBoost 与分类版共享同一套骨架:初始化等权 → 训练基学习器 → 算误差率 → 算投票权重 → 更新样本权重 → 循环 → 合成。有两处必须改:
第一处:误差率不能再数对错。 回归预测是连续值,”分对分错”没有定义,只能衡量偏差大小。直接对偏差求平均又有个问题:目标量纲不同(房价以万计、温度以个位计),误差率就没有可比性,也无法与 0.5 这类阈值比较。做法是先用本轮的最大误差做归一化:
- 算本轮最大绝对误差 E_k = max_i |y_i − T_k(x_i)|;
- 把每个样本的偏差除以 E_k,得到落在 [0, 1] 区间的相对误差 e_ki;
- 按样本权重加权平均,得到本轮误差率 e_k。
相对误差有三种口径,惩罚力度不同:
| 口径 | 对偏差的态度 | 适用 |
|---|---|---|
| 线性 | 等比例惩罚,大小偏差一视同仁 | 默认,稳健 |
| 平方 | 重点惩罚大偏差 | 希望压住离群大错 |
| 指数 | 对大偏差惩罚最重 | 极端看重最坏样本 |
第二处:合成方式改为加权求和。 分类投票取票数最大的类别,回归没有”类别”可投,只能把各基学习器的预测值乘以 α_k 后相加。
这两处改动之外,样本权重更新与投票权重的思路不变:本轮误差大的样本下一轮被放大,误差小的被缩小,误差率低的基学习器拿更大权重。
一个容易被忽略的细节:E_k 是本轮样本内的最大值,因此某个极端离群点会把 E_k 抬得很高,其余样本的相对误差被整体压小,误差率随之偏低。这是回归版对离群点敏感的另一个入口,与分类版”错分样本权重被放大”是同一问题的两种表现(见 [[噪声敏感来自权重放大]])。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 AdaBoost 10.1.3 AdaBoost的回归问题 · 查看原书依据
AdaBoost 的回归问题与分类问题的过程及原理基本类似,只是在计算预测误差率时采用的方式不同。分类问题采用的是0-1损失来衡量误差率,而回归问题一般采用平方和或指数误差来衡量误差率。
参考来源
- 位置:《机器学习基础:从入门到求职》第10章《AdaBoost》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00013.html)
- 结论依据:原文回归流程先算训练集最大误差 E_k,再据此定义每个样本的相对误差(线性/平方/指数三种),最后加权得到回归误差率,集成改为加权求和。
- 原始内容:AdaBoost 的回归问题与分类问题的过程及原理基本类似,只是在计算预测误差率时采用的方式不同。分类问题采用的是0-1损失来衡量误差率,而回归问题一般采用平方和或指数误差来衡量误差率。