知识卡片
共形预测的三步流水线
数据先切三份:训练/校准/测试,典型比例 60/20/20。校准集不参与训练,专门用来定阈值——这是共形预测的标定尺。
三步:①训练模型;②在校准集上对每个样本算非一致性分数 s,常用 s=1−p̂(ŷ|x),也可用样本到决策边界的距离;把 s 排序,取第 ⌈(n+1)(1−α)⌉ 个作为阈值 q̂;③对新样本的每个候选标签算 s,凡是 s≤q̂ 的标签都进预测集合。
算一遍(评分法):15 个校准样本、α=0.05,非一致性分数最大到 0.8,故 q̂=0.8。新样本分数为麻雀 0.26、知更鸟 0.45、鹰 0.9,于是预测集合是 {麻雀, 知更鸟},鹰被排除。
读集合大小:只含 1 个标签说明模型笃定;含 3 个说明它在三个类之间分不清,需要人工复核或补数据。集合大小是可操作的置信度信号,比单个 softmax 概率更诚实。
结构图:
flowchart LR
A[数据三分 60/20/20] --> B[训练集训练模型]
B --> C[校准集算非一致性分数 s=1-p]
C --> D[取分位数阈值 q]
D --> E[新样本逐标签算 s]
E --> F{s 小于等于 q}
F -->|是| G[收进预测集合]
F -->|否| H[排除该标签]
G --> I[输出标签集合或区间]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第26章 置信区间与共形预测 · 查看原书依据
在使用训练集训练模型后,第一步是定义一个非一致性度量,该度量是一个函数,可以根据校准集中每个实例的“异常”程度为其分配一个数值分数。
参考来源
- 位置:《大模型技术30讲》第26讲 置信区间与共形预测(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0034.xhtml)
- 结论依据:第26章 26.3–26.5 节:三划分、非一致性度量、分位数阈值、评分法数值示例
- 原始内容:在使用训练集训练模型后,第一步是定义一个非一致性度量,该度量是一个函数,可以根据校准集中每个实例的“异常”程度为其分配一个数值分数。