知识卡片
弱监督与半监督的分界
三者的共同点都是给无标签数据造标签,区别在标签从哪来。
| 方法 | 标签来源 | 噪声 | 前提 |
|---|---|---|---|
| 弱监督 | 外部标签函数(规则、关键词、第三方模型) | 高、覆盖不全 | 能写出规则,接受噪声 |
| 半监督 | 数据自身结构(邻近密度、聚类、图传播) | 中 | 至少一部分已标注,结构假设成立 |
| 自训练 | 模型自己产的伪标签 | 不确定 | 有一个可用的初始模型 |
自训练位置特殊:伪标签不保证正确,所以偏弱监督;但标签来自模型而非外部规则,又与半监督相邻。知识蒸馏是它的一个实例。
书里的垃圾邮件例子给了一条纪律:关键词规则只能用来判正,不能用“没命中”去判负;未命中的应保持未标注或换一条规则。否则规则的低召回会被当成负样本的真值,噪声固化进训练集。
实践中常组合使用:先用弱监督覆盖一部分,再用半监督扩散到规则够不到的区域。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第30章 有限的有标签数据 · 查看原书依据
在半监督学习中,我们不使用外部标签函数,而是利用数据本身的结构。例如,我们可以根据邻近已标注数据点的密度来标注额外的数据点
参考来源
- 位置:《大模型技术30讲》第30讲 有限的有标签数据(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0038.xhtml)
- 结论依据:第30章 30.1.8 弱监督学习、30.1.9 半监督学习、30.1.10 自训练
- 原始内容:在半监督学习中,我们不使用外部标签函数,而是利用数据本身的结构。例如,我们可以根据邻近已标注数据点的密度来标注额外的数据点