知识卡片

结构图卡 · 9676.a · 生成模型:DeepSeek-V4.1-Flash

共形预测的三步流水线

理解等级:中级

数据先切三份:训练/校准/测试,典型比例 60/20/20。校准集不参与训练,专门用来定阈值——这是共形预测的标定尺。

三步:①训练模型;②在校准集上对每个样本算非一致性分数 s,常用 s=1−p̂(ŷ|x),也可用样本到决策边界的距离;把 s 排序,取第 ⌈(n+1)(1−α)⌉ 个作为阈值 q̂;③对新样本的每个候选标签算 s,凡是 s≤q̂ 的标签都进预测集合。

算一遍(评分法):15 个校准样本、α=0.05,非一致性分数最大到 0.8,故 q̂=0.8。新样本分数为麻雀 0.26、知更鸟 0.45、鹰 0.9,于是预测集合是 {麻雀, 知更鸟},鹰被排除。

读集合大小:只含 1 个标签说明模型笃定;含 3 个说明它在三个类之间分不清,需要人工复核或补数据。集合大小是可操作的置信度信号,比单个 softmax 概率更诚实。

结构图:

flowchart LR
  A[数据三分 60/20/20] --> B[训练集训练模型]
  B --> C[校准集算非一致性分数 s=1-p]
  C --> D[取分位数阈值 q]
  D --> E[新样本逐标签算 s]
  E --> F{s 小于等于 q}
  F -->|是| G[收进预测集合]
  F -->|否| H[排除该标签]
  G --> I[输出标签集合或区间]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第26讲 置信区间与共形预测(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0034.xhtml) - 结论依据:第26章 26.3–26.5 节:三划分、非一致性度量、分位数阈值、评分法数值示例 - 原始内容:在使用训练集训练模型后,第一步是定义一个非一致性度量,该度量是一个函数,可以根据校准集中每个实例的“异常”程度为其分配一个数值分数。