← 返回刚才阅读的位置

知识卡片

操作参考卡 · 9634.d · 生成模型:DeepSeek-V4.1-Flash

树桩、单树与AdaBoost

理解等级:中级

为看清 Boosting 的增益来自哪里,书中做了一个模拟:X_1,…,X_10 独立服从标准正态,Y 由它们的非线性规则决定,分界点 9.34 是 10 自由度卡方分布的中位数,两类各约一半;训练集 2000 点、测试集 10000 点,基分类器限定为只有两个叶节点的树桩。结果:单个树桩测试误差 45.48%,仅比随机猜测的 50% 好一点;用 CART 建一棵最优单树降到 25.84%;AdaBoost 随迭代增加误差持续下降,M=400 时到 15.15%。这说明单棵树表达力不足(高偏差),Boosting 通过组合大量弱学习器把偏差补上。后续还用 Arc-X4(另一种自适应重采样规则)在 Biopsy、Glass 与两个模拟数据上比较,其误差与 AdaBoost 几乎相同、都优于 Bagging,最差是 CART,可见关键在“按错误率调整抽样”这一机制本身。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 决策树与组合方法 · 查看原书依据

      首先使用单棵树桩来预测,测试集的预测误差为45.48%(仅比随机猜测(5 0 %)好一点点)。再用CART算法建立一棵最优决策树,单棵决策树的预测误差率为25.84%。再运行 AdaBoost 算法,随着迭代次数的增加,测试集的误差逐渐下降,当M=400时,测试集的误差达到15.15%。

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第5章 决策树与组合方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter7_0005.xhtml,5.5.3 Boosting方法的进一步研究) - 结论依据:原文给出模拟设定、树桩 45.48%、单棵 CART 25.84%、AdaBoost 在 M=400 时 15.15% 的结果,以及 Arc-X4 与 AdaBoost、Bagging、CART 的对比结论。 - 原始内容:首先使用单棵树桩来预测,测试集的预测误差为45.48%(仅比随机猜测(5 0 %)好一点点)。再用CART算法建立一棵最优决策树,单棵决策树的预测误差率为25.84%。再运行 AdaBoost 算法,随着迭代次数的增加,测试集的误差逐渐下降,当M=400时,测试集的误差达到15.15%。