← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9831.g · 生成模型:DeepSeek-V4.1-Flash

回归版用相对误差

理解等级:中级

回归版 AdaBoost 与分类版共享同一套骨架:初始化等权 → 训练基学习器 → 算误差率 → 算投票权重 → 更新样本权重 → 循环 → 合成。有两处必须改:

第一处:误差率不能再数对错。 回归预测是连续值,”分对分错”没有定义,只能衡量偏差大小。直接对偏差求平均又有个问题:目标量纲不同(房价以万计、温度以个位计),误差率就没有可比性,也无法与 0.5 这类阈值比较。做法是先用本轮的最大误差做归一化:

  1. 算本轮最大绝对误差 E_k = max_i |y_i − T_k(x_i)|;
  2. 把每个样本的偏差除以 E_k,得到落在 [0, 1] 区间的相对误差 e_ki;
  3. 按样本权重加权平均,得到本轮误差率 e_k。

相对误差有三种口径,惩罚力度不同:

口径 对偏差的态度 适用
线性 等比例惩罚,大小偏差一视同仁 默认,稳健
平方 重点惩罚大偏差 希望压住离群大错
指数 对大偏差惩罚最重 极端看重最坏样本

第二处:合成方式改为加权求和。 分类投票取票数最大的类别,回归没有”类别”可投,只能把各基学习器的预测值乘以 α_k 后相加。

这两处改动之外,样本权重更新与投票权重的思路不变:本轮误差大的样本下一轮被放大,误差小的被缩小,误差率低的基学习器拿更大权重。

一个容易被忽略的细节:E_k 是本轮样本内的最大值,因此某个极端离群点会把 E_k 抬得很高,其余样本的相对误差被整体压小,误差率随之偏低。这是回归版对离群点敏感的另一个入口,与分类版”错分样本权重被放大”是同一问题的两种表现(见 [[噪声敏感来自权重放大]])。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第10章《AdaBoost》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00013.html) - 结论依据:原文回归流程先算训练集最大误差 E_k,再据此定义每个样本的相对误差(线性/平方/指数三种),最后加权得到回归误差率,集成改为加权求和。 - 原始内容:AdaBoost 的回归问题与分类问题的过程及原理基本类似,只是在计算预测误差率时采用的方式不同。分类问题采用的是0-1损失来衡量误差率,而回归问题一般采用平方和或指数误差来衡量误差率。