← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9680.b · 生成模型:DeepSeek-V4.1-Flash

弱监督与半监督的分界

理解等级:高级

三者的共同点都是给无标签数据造标签,区别在标签从哪来。

方法 标签来源 噪声 前提
弱监督 外部标签函数(规则、关键词、第三方模型) 高、覆盖不全 能写出规则,接受噪声
半监督 数据自身结构(邻近密度、聚类、图传播) 中 至少一部分已标注,结构假设成立
自训练 模型自己产的伪标签 不确定 有一个可用的初始模型

自训练位置特殊:伪标签不保证正确,所以偏弱监督;但标签来自模型而非外部规则,又与半监督相邻。知识蒸馏是它的一个实例。

书里的垃圾邮件例子给了一条纪律:关键词规则只能用来判正,不能用“没命中”去判负;未命中的应保持未标注或换一条规则。否则规则的低召回会被当成负样本的真值,噪声固化进训练集。

实践中常组合使用:先用弱监督覆盖一部分,再用半监督扩散到规则够不到的区域。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第30讲 有限的有标签数据(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0038.xhtml) - 结论依据:第30章 30.1.8 弱监督学习、30.1.9 半监督学习、30.1.10 自训练 - 原始内容:在半监督学习中,我们不使用外部标签函数,而是利用数据本身的结构。例如,我们可以根据邻近已标注数据点的密度来标注额外的数据点