知识卡片
AdaBoost思想与权重更新
boosting 用多个仅稍好于随机猜测的弱学习机(典型为单层决策树),专注难分类样本:原始 boosting 四步包括无放回抽子集训练、把前一机误分样本的一半加入下一训练集、用两机分类不一致样本训练第三机、多数投票组合。AdaBoost 与之不同:用整个训练集,每轮重新赋权,误分样本权重升高、正确样本权重降低,下一弱学习机聚焦高权重难样本。相关系数 α_j 作权重,更新后正确样本权重下降、误分样本上升,最终加权多数投票。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 集成学习——组合不同的模型 · 查看原书依据
boosting主要针对难以区分的训练样本,也就是说,弱学习机通过在错误分类样本上的学习来提高集成分类的性能
参考来源
- 位置:《Python机器学习》第7章《7.5 通过自适应boosting提高弱学习机的性能》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0103.xhtml.xhtml)
- 结论依据:原文直接支撑上述要点。
- 原始内容:boosting主要针对难以区分的训练样本,也就是说,弱学习机通过在错误分类样本上的学习来提高集成分类的性能