知识卡片
Bagging救不了坏分类器
问题:Bagging 是否总能提升精度?分析:不能。投票的前提是基分类器错分率低于 0.5。设想真实类别恒为 1,而某个分类器以 0.4 的概率判 1、0.6 的概率判 0,它的错分率 e=0.6,多数投票会把这种系统性偏向进一步放大,组合后的错分率趋于 1。可见 Bagging 让好分类器更好,也让坏分类器更坏。方案与边界:先确认基学习器虽不稳定但准确率优于随机猜测;M 的取法上,回归可以小一些,类别多的分类问题应大一些,CART 建树快所以 M 影响不明显,神经网络这类慢模型则要权衡等待时间;把每次抽样量增到 2n 只把袋外比例降到约 14%,精度并不提高;它只减方差,若想同时降偏差,可用迭代 Bagging 或 Subbagging。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 决策树与组合方法 · 查看原书依据
假设对所有的x,其真实分类为Y=1,而分类器h(x)预测Y=1的概率为0.4, Y=0的概率为0.6,那么h(x)的错分率e=0.6,而组合后的分类器的错分率会趋于1。
参考来源
- 位置:《大数据挖掘与统计机器学习》第5章 决策树与组合方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter7_0002.xhtml,5.2.4 讨论)
- 结论依据:原文以 e=0.6 的例子说明组合后错分率趋于 1,并讨论 M 的取值、抽样量增至 2n 无效以及偏差—方差视角下的改进方法。
- 原始内容:假设对所有的x,其真实分类为Y=1,而分类器h(x)预测Y=1的概率为0.4, Y=0的概率为0.6,那么h(x)的错分率e=0.6,而组合后的分类器的错分率会趋于1。