知识卡片
袋外样本是免费的验证集
有放回抽样有个副作用:一部分样本永远不会被抽到。对某个固定样本,每次抽样被抽中的概率是 1/N,N 次都没被抽中的概率是
(1−1/N)^N → 1/e ≈ 0.368
所以在 N 较大时,每棵树的训练子集里只包含约 63% 的原始样本,剩下约 37% 是这棵树的袋外样本(out-of-bag, OOB)——树在训练时完全没见过它们。
这就是一份天然的验证集,且是”按树分配”的:对每个样本 i,挑出所有没在训练中用过 i 的树,让它们对 i 预测并汇总(分类投票、回归取均值),得到 i 的 OOB 预测;再与真实标签比对,汇总成 OOB 误差或 OOB 分数。
它比交叉验证省事在哪:
- 不用切分数据,不损失训练样本,样本量小的时候尤其值钱;
- 不用重复训练 K 次,OOB 是训练一次就顺带算出来的;
- 每个样本的”验证模型”都确实没见过它,评估没有信息泄露。
代价与注意点:它只是留一交叉验证的近似,每个样本对应的树集合不同,方差比 K 折略大;结论依赖样本独立同分布,若数据有明显时间顺序,”没见过某样本”并不等于”没见过它的未来信息”,OOB 会偏乐观。
sklearn 里 oob_score=True 打开该功能,训练后从 oob_score_ 读取分数、oob_prediction_ 读取逐样本的袋外预测。因为它几乎无成本,实践中常建议默认打开,用它粗略比较不同 n_estimators / max_features 的效果。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 随机森林 9.4 RF的scikit-learn实现 · 查看原书依据
由于RF采样时可能会重复采样,即训练集样本中的部分数据可能一次都没有被抽到过
参考来源
- 位置:《机器学习基础:从入门到求职》第9章《第9章 随机森林》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00012.html)
- 结论依据:原文由"重复采样导致部分样本一次都没被抽到"推出这些样本可作验证集,并说明 oob_score 参数控制是否使用、默认关闭且建议开启。
- 原始内容:由于RF采样时可能会重复采样,即训练集样本中的部分数据可能一次都没有被抽到过,因此这部分数据可以用来作为验证集辅助评估模型的好坏。