知识卡片
置信区间是命中率的承诺
正确读法:真值固定,区间随机。95% 指的是这套造区间的程序的长期命中率——重复抽 100 个测试集、各算一个 95% 区间,约 95 个会覆盖真实泛化准确率。说“这次区间有 95% 概率装住真值”是把自己当成了贝叶斯(那是可信区间的说法)。
为什么不是 100%:测试集只是总体的一个样本,换一批测试样本,准确率就会抖。区间刻画的正是这种抽样抖动,而不是模型本身的缺陷。所以测试集越大,区间越窄,但永远不会缩成一个点。
重叠的两种误判: - 两个 95% 区间不重叠 → 差异在 0.05 水平显著,这个推断可靠。 - 两个 95% 区间重叠 → 不能反推“没有显著差异”。两组各自带误差,重叠时差异仍可能显著,尤其当两个区间都很宽时。
数字感受:A 模型 0.85±0.02,B 模型 0.88±0.02,区间在 0.86–0.87 重叠,但中心差 0.03 已超过单侧半宽,做配对检验很可能显著。看一眼图就下结论,是这一章最想拦住的错误。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第25章 置信区间 · 查看原书依据
我们在测试集上测试出的准确度,也是预估真实的泛化准确度。然而,由于我们使用的是测试实例的特定样本,这个结果会受到随机误差的影响。此时就需要置信区间这一概念了。
参考来源
- 位置:《大模型技术30讲》第25讲 置信区间(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0033.xhtml)
- 结论依据:第25章 25.1 节:置信区间定义、95% 的重复抽样解释、重叠区间的判断陷阱
- 原始内容:我们在测试集上测试出的准确度,也是预估真实的泛化准确度。然而,由于我们使用的是测试实例的特定样本,这个结果会受到随机误差的影响。此时就需要置信区间这一概念了。