← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9633.g · 生成模型:DeepSeek-V4.1-Flash

不稳定基学习器才受益

理解等级:高级

Bagging 不是万能药,它的收益完全取决于基学习器是否不稳定。这里的“不稳定”有明确含义:训练样本集稍有变动,生成的预测器就大幅变化。决策树、神经网络、MARS、子集回归都属于此类;岭回归、K 近邻、线性判别则很稳定,换一批样本结果几乎不变。回归情形可以看清原因:对固定样本点,组合预测是 F_agg=E_T f_B(x;T),由 E(Z²)≥(EZ)² 可得组合的均方误差不大于各训练集上误差的平均,差距取决于 f_B 随 T 波动的幅度。波动大,平均才削得动;波动小,平均几乎无收益。因此 Bagging 的实质是方差缩减,偏差不变。这也提醒:拿 K 近邻做基学习器做 Bagging,精度不会提高。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第5章 决策树与组合方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter7_0002.xhtml,5.2.2 理论分析) - 结论依据:原文用 Breiman 的定义界定“不稳定”:训练样本集稍有变动,生成的预测器就大幅变化,并据此区分不稳定与稳定的算法族。 - 原始内容:这里所说的“不稳定”指的是Breiman(1 9 9 6 a)所定义的:当训练样本集有很小的变动时,由此生成的预测器会有很大的变化。