知识卡片
自监督与迁移学习的分野
问题:自监督学习常被说成“不需要标签的预训练”,那它和迁移学习到底差在哪?
分析:两者流程几乎一样——先在大数据上预训练,再迁到目标任务微调;差别只在第一步的标签来源。迁移学习默认源数据集有标签,标签由人工标注(如 ImageNet);自监督学习假设源数据无标签,只能从样本自身结构造标签,这类任务叫代理任务。换句话说,迁移学习借的是“别人的标注”,自监督借的是“数据自身的规律”。
权衡: - 有高质量、领域相近的标注大数据 → 迁移学习更直接,效果也更可控。 - 只有无标签数据,或标注成本极高 → 自监督是唯一能规模化的预训练路径。 - 自监督学到的是通用表征,微调时仍需少量标签;它不替代监督学习,只替代预训练阶段的标注。
边界:预训练模型的能力上限受代理任务与数据分布约束;代理任务选得差,学到的表征对下游几乎没有用。两条路也不互斥,实践中常见“自监督预训练 + 有标签微调”的组合。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 自监督学习 · 查看原书依据
迁移学习与自监督学习的主要区别在于如何获取标签,对应于图2-1和图2-2中的步骤 (1)。在迁移学习中,我们假设数据集都是有标签的,这些标签通常由人工标注。而在自监督学习中,标签可以直接从训练样本中获取。
参考来源
- 位置:《大模型技术30讲》第2讲 自监督学习(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0006.xhtml)
- 结论依据:第2章 2.1 自监督学习与迁移学习:流程图对比与标签来源差异
- 原始内容:迁移学习与自监督学习的主要区别在于如何获取标签,对应于图2-1和图2-2中的步骤 (1)。在迁移学习中,我们假设数据集都是有标签的,这些标签通常由人工标注。而在自监督学习中,标签可以直接从训练样本中获取。