知识卡片
不稳定基学习器才受益
Bagging 不是万能药,它的收益完全取决于基学习器是否不稳定。这里的“不稳定”有明确含义:训练样本集稍有变动,生成的预测器就大幅变化。决策树、神经网络、MARS、子集回归都属于此类;岭回归、K 近邻、线性判别则很稳定,换一批样本结果几乎不变。回归情形可以看清原因:对固定样本点,组合预测是 F_agg=E_T f_B(x;T),由 E(Z²)≥(EZ)² 可得组合的均方误差不大于各训练集上误差的平均,差距取决于 f_B 随 T 波动的幅度。波动大,平均才削得动;波动小,平均几乎无收益。因此 Bagging 的实质是方差缩减,偏差不变。这也提醒:拿 K 近邻做基学习器做 Bagging,精度不会提高。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 决策树与组合方法 · 查看原书依据
这里所说的“不稳定”指的是Breiman(1 9 9 6 a)所定义的:当训练样本集有很小的变动时,由此生成的预测器会有很大的变化。
参考来源
- 位置:《大数据挖掘与统计机器学习》第5章 决策树与组合方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter7_0002.xhtml,5.2.2 理论分析)
- 结论依据:原文用 Breiman 的定义界定“不稳定”:训练样本集稍有变动,生成的预测器就大幅变化,并据此区分不稳定与稳定的算法族。
- 原始内容:这里所说的“不稳定”指的是Breiman(1 9 9 6 a)所定义的:当训练样本集有很小的变动时,由此生成的预测器会有很大的变化。