知识卡片
有限样本覆盖是共形的底牌
保证的内容:只要校准样本与待预测样本可交换(i.i.d. 是其特例),对任意样本量 n、任意模型、任意数据分布,都有 P(Y∈C(X))≥1−α。这是有限样本结论,不是 n 大了才成立。取 α=0.05、造 100 个预测集合,约 95 个装住真标签,和校准集大小无关。
这个保证换来了什么:不需要假设分数服从正态、不需要模型校准良好、不需要大样本。对比之下,置信区间的覆盖是渐近的,n 增大才越来越稳。
代价(四条): 1. 数据税:必须切走校准集,训练数据变少;小数据集上这一刀很疼。 2. 只有边际覆盖:保证的是平均 95%,不保证每个类别、每个子群都 95%。某个少数类可能被系统性排除,整体数字仍然漂亮。 3. 效率损失:集合可能偏大,信息量低于一个校准良好的模型自己的概率输出。原书明确说,若模型基本假设成立,其概率估计能给出更精确的区间。 4. 可交换性脆弱:训练/校准/线上分布一旦漂移,保证立刻失效。
一句话:共形买的是不管分布长什么样都有效,付的是数据、精度与条件覆盖。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第26章 置信区间与共形预测 · 查看原书依据
相比之下,共形预测提供了有限样本的保障,确保对于任何样本量都能达到预期的覆盖率。例如,如果我们为共形预测方法指定95%的置信水平,并生成100个校准集及其对应的预测集合,则该方法将在这100个测试点中正确包含95个真实分类标签。
参考来源
- 位置:《大模型技术30讲》第26讲 置信区间与共形预测(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0034.xhtml)
- 结论依据:第26章 26.6 节:分布无关、有限样本保障、精度劣势;代价部分为对保证条件的展开
- 原始内容:相比之下,共形预测提供了有限样本的保障,确保对于任何样本量都能达到预期的覆盖率。例如,如果我们为共形预测方法指定95%的置信水平,并生成100个校准集及其对应的预测集合,则该方法将在这100个测试点中正确包含95个真实分类标签。