← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9655.b · 生成模型:DeepSeek-V4.1-Flash

预训练给小数据集兜底

理解等级:中级

是什么:预训练是“借数据”的过拟合对策——先在大数据集上学一套表征,再在小目标数据集上微调。来源有两条:有标签大数据做迁移学习,无标签大数据做自监督预训练(第2章)。

怎么选: | 手上有什么 | 选择 | |—|—| | 领域相关的中大型有标签数据集 | 迁移学习,最有效 | | 只有无标签数据 | 自监督预训练 | | 只有通用大数据(如 ImageNet) | 迁移学习兜底,领域差距大时收益有限 | | 每类只有几个样本 | 小样本学习(第3章) |

为什么有效:预训练把“如何看数据”的知识固化在权重里,目标数据集只需调整决策边界,需要拟合的自由度大幅减少,过拟合空间随之缩小。领域越接近,可复用的层越多,效果越好。

代价:源域与目标域差距越大,迁移收益越小,甚至出现负迁移;预训练本身算力与存储成本高;微调时的学习率、冻结层数都要重新调。边界:预训练不是万能替代,目标数据充足时从头训练往往更简单。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第5讲 利用数据来减少过拟合现象(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0009.xhtml) - 结论依据:第5章 5.1.3 预训练:自监督、迁移学习与领域相关性、小样本的衔接 - 原始内容:如果有标签数据集与目标领域高度相关,迁移学习将特别有效。比如说,我们训练一个模型来识别不同的鸟类,我们可以先在一个包含多种动物的大型通用动物分类数据集上对网络进行预训练。