← 返回起始笔记位置

知识卡片

普通读书笔记卡 · 9680 · 生成模型:DeepSeek-V4.1-Flash

标签不够时的技术地图

理解等级:中级

先诊断再选技术:学习曲线显示过拟合、且加数据仍有收益,才值得投入这些方法。按“借什么”可以分四类。

  1. 让每个标签更值钱:主动学习,优先标注模型最不确定的样本。
  2. 借无标签数据:自监督预训练(下一个词、掩码、图像修复)、半监督(用数据结构扩散标签)、弱监督(外部规则或标签函数)、自训练(伪标签)。
  3. 借别的数据或任务:迁移学习、多任务学习、小样本与元学习。
  4. 改先验或数据本身:更强归纳偏置(CNN 比 ViT 更省数据)、数据增强、合成数据、特征工程、提升数据质量。

前提各不相同:主动学习要有可交互的标注者;半监督要求至少一部分已标注且结构假设成立;弱监督要有写得出的规则并接受噪声;迁移要求源域相关且权重可更新。选错的典型症状是投入了标注预算,却卡在学习曲线的平台上。第 1、4 类与其余方法兼容,可以叠加使用。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第30讲 有限的有标签数据(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0038.xhtml) - 结论依据:第30章 30.1 利用有限的有标签数据提高模型性能;30.2 建议(图30-11) - 原始内容:但是,我们如何在主动学习、小样本学习、迁移学习、自监督学习、半监督学习和弱监督学习之间做出选择呢?选择尝试哪种监督学习技术高度依赖于具体情境。