知识卡片
正态近似区间算得最快
公式:p̂ ± z·√(p̂(1−p̂)/n),其中 p̂ 是测试集准确率,n 是测试集大小,z 由置信水平决定(95% 取 1.96,90% 取 1.645,99% 取 2.576)。
算一遍:n=1000,p̂=0.85。SE=√(0.85×0.15⁄1000)=√0.0001275≈0.0113,半宽=1.96×0.0113≈0.0222,区间 [0.828, 0.872]。置信水平越高,z 越大,区间越宽——90% 的区间一定比 95% 的窄,窄是用更低的命中率换来的。
三条假设:①测试样本独立同分布;②n 足够大,使二项分布被正态近似(中心极限定理);③p̂ 不贴近 0 或 1。
失效边界:n=30、错 3 个时 p̂=0.9,SE≈0.055,下界 0.9−0.107=0.793 还算合理;但若 n=30、错 0 个,SE=0,区间退化成 [1,1],明显荒谬。小样本或极端比例应改用 Wilson 区间或 Clopper-Pearson 精确区间。
另一个代价:只做一次训练/测试划分,测不到换一种划分结果会变多少。数据小或波动大时,这个盲区比正态假设更致命。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第25章 置信区间 · 查看原书依据
正态近似区间通过一次训练集-测试集的划分来构建置信区间。它通常被认为是计算置信区间的最简单和最传统的方法。
参考来源
- 位置:《大模型技术30讲》第25讲 置信区间(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0033.xhtml)
- 结论依据:第25章 25.2.1 节:正态近似公式、标准误、假设与两条缺点;z 值取自标准正态分位数
- 原始内容:正态近似区间通过一次训练集-测试集的划分来构建置信区间。它通常被认为是计算置信区间的最简单和最传统的方法。