知识卡片
三条训练曲线的读数
在 AdaBoost 的训练结果里通常要看三条曲线,它们回答三个不同的问题。
第一条:集成模型在验证集上的误差率随基学习器个数增加的变化。 这条曲线衡量”加树还有没有用”。正常形态是先快速下降再趋于平缓;如果后期开始回升,说明已经在拟合噪声,应减少 n_estimators 或降低 learning_rate。
第二条:每个基学习器自己的误差率 e_k。 它通常逐轮上升,这不是训练出错。原因是样本权重在变:前几轮容易分的样本权重被压低,难分的被抬高,后面的树实际上是在一份”更难的题”上训练,误差率自然更高。
第三条:每个基学习器的投票权重 α_k。 它通常逐轮下降,与第二条正好镜像——因为 α_k = ½ln((1−e_k)/e_k) 是 e_k 的单调递减函数(见 [[误差率决定投票权重]])。两条曲线一升一降,本质是同一条公式的两种视图。
三条曲线合起来给出一个重要判断:后加的树贡献越来越小是正常现象,不是 bug。它意味着集成的边际收益递减,也解释了为什么 n_estimators 存在一个合理上限——继续加树只会增加方差与训练成本,不会显著降低偏差。
反过来,如果第二条曲线不升反降,或第三条不降反升,说明样本权重没有真正起作用(例如基学习器忽略了 sample_weight),这时应当怀疑实现或基学习器选择,而不是继续调参。
阅读这三条曲线还有一个前提:第一条看的是验证集,后两条看的是训练集。前者反映泛化,后者反映训练过程本身,混在一起看会得出错误结论。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 AdaBoost 10.4 AdaBoost使用实例 · 查看原书依据
在AdaBoost中,后面的基学习器的分类误差率一般会大于前面的基学习器的分类误差率。因为越到后面,那些之前容易被分错的样本所占的权重越大。
参考来源
- 位置:《机器学习基础:从入门到求职》第10章《AdaBoost》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00013.html)
- 结论依据:原文用三张图解读训练结果:集成误差随基学习器数下降、各基学习器误差率逐轮上升、投票权重与误差率呈反向变化。
- 原始内容:在AdaBoost中,后面的基学习器的分类误差率一般会大于前面的基学习器的分类误差率。因为越到后面,那些之前容易被分错的样本所占的权重越大。