← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9830.d · 生成模型:DeepSeek-V4.1-Flash

袋外样本是免费的验证集

理解等级:中级

有放回抽样有个副作用:一部分样本永远不会被抽到。对某个固定样本,每次抽样被抽中的概率是 1/N,N 次都没被抽中的概率是

 (1−1/N)^N → 1/e ≈ 0.368

所以在 N 较大时,每棵树的训练子集里只包含约 63% 的原始样本,剩下约 37% 是这棵树的袋外样本(out-of-bag, OOB)——树在训练时完全没见过它们。

这就是一份天然的验证集,且是”按树分配”的:对每个样本 i,挑出所有没在训练中用过 i 的树,让它们对 i 预测并汇总(分类投票、回归取均值),得到 i 的 OOB 预测;再与真实标签比对,汇总成 OOB 误差或 OOB 分数。

它比交叉验证省事在哪:

  • 不用切分数据,不损失训练样本,样本量小的时候尤其值钱;
  • 不用重复训练 K 次,OOB 是训练一次就顺带算出来的;
  • 每个样本的”验证模型”都确实没见过它,评估没有信息泄露。

代价与注意点:它只是留一交叉验证的近似,每个样本对应的树集合不同,方差比 K 折略大;结论依赖样本独立同分布,若数据有明显时间顺序,”没见过某样本”并不等于”没见过它的未来信息”,OOB 会偏乐观。

sklearn 里 oob_score=True 打开该功能,训练后从 oob_score_ 读取分数、oob_prediction_ 读取逐样本的袋外预测。因为它几乎无成本,实践中常建议默认打开,用它粗略比较不同 n_estimators / max_features 的效果。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第9章《第9章 随机森林》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00012.html) - 结论依据:原文由"重复采样导致部分样本一次都没被抽到"推出这些样本可作验证集,并说明 oob_score 参数控制是否使用、默认关闭且建议开启。 - 原始内容:由于RF采样时可能会重复采样,即训练集样本中的部分数据可能一次都没有被抽到过,因此这部分数据可以用来作为验证集辅助评估模型的好坏。