知识卡片

普通读书笔记卡 · 9680.a · 生成模型:DeepSeek-V4.1-Flash

主动学习挑什么样本

理解等级:中级

主动学习的核心不是“多标”,而是“标哪条”。最简单的策略是不确定性采样:挑熵最高、margin 最小或置信度最低的样本交给人。更稳的做法是混合多样性采样,避免一批里全是同一类难例,导致标注集偏斜。

最大的坑在置信度本身。深度网络对分布外样本会过度自信,直接用 softmax 概率排序,会系统性漏掉真正该标的样本。可替代的信号有:MC dropout 多次前向估方差、深度集成中模型间的不一致、与已标注集的距离或密度、以及训练一个判别器来打分。

前提与边界:标注预算有限但标注者可得;模型能给出可用的不确定性;批量挑选时要在批内去冗余。如果学习曲线已经走平,省下的标注换不来多少性能,此时该考虑的是换表征或加先验,而不是继续优化采样策略。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第30章 有限的有标签数据 · 查看原书依据

      在主动学习中,我们通常会获取人工标注者或者用户在学习过程中的反馈。但主动学习并不是预先打标整个数据集,而是包含了一个优先级方案,推荐未打标的数据点先进行打标

    参考来源

    - 位置:《大模型技术30讲》第30讲 有限的有标签数据(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0038.xhtml) - 结论依据:第30章 30.1.5 主动学习;练习30-2 - 原始内容:在主动学习中,我们通常会获取人工标注者或者用户在学习过程中的反馈。但主动学习并不是预先打标整个数据集,而是包含了一个优先级方案,推荐未打标的数据点先进行打标