知识卡片
boosting偏差方差与代价权衡
Breiman 指出 boosting 可同时降低偏差和方差,但实践中 AdaBoost 仍有高方差、易过拟合倾向。例中 500 棵单层决策树的 AdaBoost 在训练集全对、测试集略优于单层树,降了偏差但方差增加。集成提高计算复杂度,实践中要权衡适度性能提升是否值得计算成本——奈飞竞赛冠军用了集成,但因模型过于复杂、额外准确率提升不足,奈飞并未投入生产。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 集成学习——组合不同的模型 · 查看原书依据
与单独分类器相比,集成学习提高了计算复杂度。但在实践中,我们需仔细权衡是否愿意为适度提高预测性能而付出更多的计算成本
参考来源
- 位置:《Python机器学习》第7章《7.5 通过自适应boosting提高弱学习机的性能》(源文件:`../../book-sources/extracted/Python机器学习/_epub-src/OEBPS/Text/part0103.xhtml.xhtml)
- 结论依据:原文直接支撑上述要点。
- 原始内容:与单独分类器相比,集成学习提高了计算复杂度。但在实践中,我们需仔细权衡是否愿意为适度提高预测性能而付出更多的计算成本