← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9831.f · 生成模型:DeepSeek-V4.1-Flash

SAMME.R 用概率定票

理解等级:中级

AdaBoost 处理多分类有两套算法,骨架相同(初始化等权 → 训练 → 定权重 → 更新样本权重 → 循环 → 加权组合),差别在于”票”的粒度。

对比项 SAMME SAMME.R
权重依据 基学习器的分类误差率 e_k 基学习器输出的类别概率
权重粒度 每个基学习器一个 α_k 每个基学习器对每个类别各有一个值
同一基学习器对不同类别 一视同仁 按概率区别对待
对基学习器的额外要求 只要能分类 必须能输出概率(predict_proba)
scikit-learn 默认 否 是

直观理解:SAMME 把每个基学习器当成”一个投票人,手里只有 α_k 张票,全部投给它预测的那个类”。SAMME.R 把它当成”一个投票人,根据自己对各类的把握程度分配票数”——如果它对某类的概率是 0.6,对另一类是 0.25,贡献就不一样。

代价是接口约束变强:能用 SAMME 的模型不一定能用 SAMME.R。决策树、逻辑回归、朴素贝叶斯可以输出概率;而某些只给判别结果的模型(如标准 SVM)就不行,硬用会报错或退化。

性能上不能一概而论。原文明确说 SAMME.R 在某些情况下更优,但不是绝对的——概率估计本身可能有偏差(例如未经校准的树模型概率偏极端),这时基于概率的加权反而可能不如只用误差率稳。实践中可以两个都试,用验证集决定;改这个开关只影响投票权重的算法,不影响样本权重更新的主干逻辑。

两个算法共同的上游是 [[重加权样本即可复用单模型]],下游是 [[集成输出的两种合成]]:SAMME.R 只是让合成阶段拿到更细的票,合成方式仍是取加权票数最大的类别。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第10章 AdaBoost 10.1.2 AdaBoost多分类问题 · 查看原书依据

      SAMME算法中不同基分类器的投票权重是不一样的,但同一基分类器对样本属于不同类别的情况是无差别对待的;而 SAMME.R 算法中,不仅不同基分类器的投票权重不一样,而且更进一步,同一基分类器对样本属于不同类别的影响也不一样,会和样本属于各类别的概率值挂钩

    参考来源

    - 位置:《机器学习基础:从入门到求职》第10章《AdaBoost》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00013.html) - 结论依据:原文对比两种多分类算法:SAMME 只用误差率定权重,SAMME.R 依据各类别加权概率定票,并要求基分类器能输出概率。 - 原始内容:SAMME算法中不同基分类器的投票权重是不一样的,但同一基分类器对样本属于不同类别的情况是无差别对待的;而 SAMME.R 算法中,不仅不同基分类器的投票权重不一样,而且更进一步,同一基分类器对样本属于不同类别的影响也不一样,会和样本属于各类别的概率值挂钩