知识卡片
主动学习挑什么样本
主动学习的核心不是“多标”,而是“标哪条”。最简单的策略是不确定性采样:挑熵最高、margin 最小或置信度最低的样本交给人。更稳的做法是混合多样性采样,避免一批里全是同一类难例,导致标注集偏斜。
最大的坑在置信度本身。深度网络对分布外样本会过度自信,直接用 softmax 概率排序,会系统性漏掉真正该标的样本。可替代的信号有:MC dropout 多次前向估方差、深度集成中模型间的不一致、与已标注集的距离或密度、以及训练一个判别器来打分。
前提与边界:标注预算有限但标注者可得;模型能给出可用的不确定性;批量挑选时要在批内去冗余。如果学习曲线已经走平,省下的标注换不来多少性能,此时该考虑的是换表征或加先验,而不是继续优化采样策略。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第30章 有限的有标签数据 · 查看原书依据
在主动学习中,我们通常会获取人工标注者或者用户在学习过程中的反馈。但主动学习并不是预先打标整个数据集,而是包含了一个优先级方案,推荐未打标的数据点先进行打标
参考来源
- 位置:《大模型技术30讲》第30讲 有限的有标签数据(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0038.xhtml)
- 结论依据:第30章 30.1.5 主动学习;练习30-2
- 原始内容:在主动学习中,我们通常会获取人工标注者或者用户在学习过程中的反馈。但主动学习并不是预先打标整个数据集,而是包含了一个优先级方案,推荐未打标的数据点先进行打标