知识卡片
重采样家族:三种花法
三种重采样路线的区别只在重抽谁,成本与能看到的东西完全不同:
| 路线 | 重抽对象 | 重训次数 | 能测到什么 | 主要代价 |
|---|---|---|---|---|
| 袋外自助(训练集) | 训练集有放回抽 n 个 | B 次(常 1000) | 数据划分 + 训练的双重波动 | B 倍训练;不引入新信息 |
| 测试集自助 | 已训练好的模型 + 测试集 | 1 次 | 测试抽样的波动 | 看不到训练集微扰的敏感性 |
| 换随机种子 | 同一数据、不同初始化 | k 次(常 5–10) | 优化过程的稳定性 | 成本最高,只适合深度模型 |
统一的收尾:前两条都取 B 个准确率的 2.5 与 97.5 百分位作为 95% 区间,这是百分位法,不假设正态。第三条因为 k 很小,均值服从 t 分布而非正态,临界值要用 t 而非 z;k 增大时 t 趋近 z。
选择逻辑:算力紧、只想给一个已训好的模型报区间 → 测试集自助;要评估换数据划分会不会翻车 → 袋外自助;关心训练随机性、模型又贵 → 换种子,但别指望 5 个种子能给出稳定的尾部估计。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第25章 置信区间 · 查看原书依据
由于自助抽样法依赖于对现有测试数据进行重采样,其缺点是不会引入在更广泛的群体或未见数据中可能存在的任何新信息。
参考来源
- 位置:《大模型技术30讲》第25讲 置信区间(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0033.xhtml)
- 结论依据:第25章 25.2.2–25.2.4 节:袋外自助、测试集自助、随机种子重训与 t 分布
- 原始内容:由于自助抽样法依赖于对现有测试数据进行重采样,其缺点是不会引入在更广泛的群体或未见数据中可能存在的任何新信息。