知识卡片
袋外样本估计泛化误差
自助采样有一个副产品:每次抽 n 个(有放回),某个样本一次都没被抽中的概率约为 (1-1/n)^n≈e^{-1},即约 37%,这些样本就是袋外(Out-of-bag)样本。对固定样本 (x_i,y_i),M 棵树里大约有 0.37M 棵没见过它,用这些树对它的预测做组合,得到袋外预测 H_OB(x_i)。把所有训练样本的损失 L(y_i,H_OB(x_i)) 平均,就是袋外误差估计 e_OB。它的价值在于几乎不花额外计算:每棵树的袋外预测在训练那一轮就顺带算出来了,而交叉验证要重复训练 M 次。Breiman 的模拟与实际数据分析显示,e_OB 的平均与测试集误差 e_TS 的平均几乎相等。袋外预测还可估计节点概率、节点均方误差,或用于构造更准确的回归树。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 决策树与组合方法 · 查看原书依据
鉴于Bootstrap 抽样的性质,T中每次大约有 3 7 %的样本点不在Tm 中,这些样本点对于应用Tm构建的预测器hB(x; Tm)或fB(x; Tm)来说,可以看作未被使用的测试样本。
参考来源
- 位置:《大数据挖掘与统计机器学习》第5章 决策树与组合方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter7_0002.xhtml,5.2.3 Out-of-bag估计)
- 结论依据:原文说明每次 Bootstrap 约有 37% 样本不在 T_m 中,可视为未使用的测试样本,并定义袋外预测与袋外误差,指出其估计准确且几乎不增加计算。
- 原始内容:鉴于Bootstrap 抽样的性质,T中每次大约有 3 7 %的样本点不在Tm 中,这些样本点对于应用Tm构建的预测器hB(x; Tm)或fB(x; Tm)来说,可以看作未被使用的测试样本。