知识卡片
AdaBoost双重权重机制
AdaBoost(自适应增强)是Boosting最流行的实现,它的“增强”靠两套权重协同。其一是数据权重:每个训练样本带一个权重,弱学习器据此寻找使分类误差最小的决策点;被前一个学习器分错的样本权重增大、分对的减小,从而改变下一轮的数据分布。其二是弱分类器权重:用该学习器的最小误差算出它的权重alpha,即“发言权”——精度越高的话语权越大,最终预测按各学习器权重加权投票得出。迭代在满足足够小错误率或达到最大轮数时停止。相比普通Boosting,AdaBoost能自适应地根据反馈调整错误率,无需预先知道弱分类器的错误率上限;框架通用,决策树、神经网络都可用,实际最常用决策树。边界是仍会因难分样本权重指数增长而受噪声干扰。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 要想模型效果好,集成算法少不了 9.2.2 AdaBoost如何增强 · 查看原书依据
这个算法的“增强”体现在它设置了两种权重:一种是数据的权重;另一种是弱分类器的权重。数据的权重主要用于弱分类器寻找其分类误差最小的决策点,找到之后用这个最小误差计算出该弱分类器的权重,表示该分类器的“发言权”,分类器权重越大说明该弱分类器在最终决策时拥有越大的发言权。
参考来源
- 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第9章《要想模型效果好,集成算法少不了》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00014.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文“这个算法的‘增强’体现在它设置了两种权重:一种是数据的权重;另一种是弱分类器的权重……分类器权重越大说明该弱分类器在最终决策时拥有越大的发言权”直接阐明AdaBoost双重权重的分工。
- 原始内容:这个算法的“增强”体现在它设置了两种权重:一种是数据的权重;另一种是弱分类器的权重。数据的权重主要用于弱分类器寻找其分类误差最小的决策点,找到之后用这个最小误差计算出该弱分类器的权重,表示该分类器的“发言权”,分类器权重越大说明该弱分类器在最终决策时拥有越大的发言权。