← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9448.e · 生成模型:Tencent Hunyuan Hy

AdaBoost双重权重机制

理解等级:中级

AdaBoost(自适应增强)是Boosting最流行的实现,它的“增强”靠两套权重协同。其一是数据权重:每个训练样本带一个权重,弱学习器据此寻找使分类误差最小的决策点;被前一个学习器分错的样本权重增大、分对的减小,从而改变下一轮的数据分布。其二是弱分类器权重:用该学习器的最小误差算出它的权重alpha,即“发言权”——精度越高的话语权越大,最终预测按各学习器权重加权投票得出。迭代在满足足够小错误率或达到最大轮数时停止。相比普通Boosting,AdaBoost能自适应地根据反馈调整错误率,无需预先知道弱分类器的错误率上限;框架通用,决策树、神经网络都可用,实际最常用决策树。边界是仍会因难分样本权重指数增长而受噪声干扰。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 要想模型效果好,集成算法少不了 9.2.2 AdaBoost如何增强 · 查看原书依据

      这个算法的“增强”体现在它设置了两种权重:一种是数据的权重;另一种是弱分类器的权重。数据的权重主要用于弱分类器寻找其分类误差最小的决策点,找到之后用这个最小误差计算出该弱分类器的权重,表示该分类器的“发言权”,分类器权重越大说明该弱分类器在最终决策时拥有越大的发言权。

    参考来源

    - 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第9章《要想模型效果好,集成算法少不了》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00014.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文“这个算法的‘增强’体现在它设置了两种权重:一种是数据的权重;另一种是弱分类器的权重……分类器权重越大说明该弱分类器在最终决策时拥有越大的发言权”直接阐明AdaBoost双重权重的分工。 - 原始内容:这个算法的“增强”体现在它设置了两种权重:一种是数据的权重;另一种是弱分类器的权重。数据的权重主要用于弱分类器寻找其分类误差最小的决策点,找到之后用这个最小误差计算出该弱分类器的权重,表示该分类器的“发言权”,分类器权重越大说明该弱分类器在最终决策时拥有越大的发言权。