知识卡片
置信区间管参数,预测区间管个体
两个区间长得像,回答的问题不同:
| 置信区间 | 预测区间 | |
|---|---|---|
| 对象 | 总体参数(如真实准确率) | 单个样本的输出 |
| 随机性来源 | 样本抽样的波动 | 抽样波动 + 个体自身波动 |
| 随样本量增大 | 持续变窄,趋于 0 | 收敛到一个下限,不趋于 0 |
| 用途 | 比较、选择、验收模型 | 判断单条预测是否可信 |
身高例子:一万人样本得出均值 5 英尺 7 英寸,均值的 95% 置信区间是 5 英尺 6 英寸到 5 英尺 8 英寸;而体重 185 磅的某个人,其身高的预测区间是 5 英尺 8 英寸到 6 英尺。前者在估计人群平均,后者在估计这一个人。哪怕量一亿人,个体区间也不会缩成一个点——人的身高本来就散。
落地含义:模型选型看置信区间,因为要比较的是平均表现;线上遇到一个具体样本,要看预测区间或预测集合,因为要判断的是这一次。把两者混用,会出现模型整体很准所以这一条也一定准的错觉。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第26章 置信区间与共形预测 · 查看原书依据
置信区间侧重于刻画总体特征的参数,而预测区间则为单个预测目标值提供一个值域。例如,考虑预测人身高的问题。假设从人口中抽取10000个人作为样本,我们可能得出平均身高为5英尺7英寸
参考来源
- 位置:《大模型技术30讲》第26讲 置信区间与共形预测(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0034.xhtml)
- 结论依据:第26章 26.1 节:置信区间与预测区间的对象差异、身高示例
- 原始内容:置信区间侧重于刻画总体特征的参数,而预测区间则为单个预测目标值提供一个值域。例如,考虑预测人身高的问题。假设从人口中抽取10000个人作为样本,我们可能得出平均身高为5英尺7英寸