知识卡片
自监督只对大模型划算
问题:自监督既然如此有效,为什么不是所有模型都该用?
分析:自监督的收益来自“用海量无标签数据预训练出一个通用表征”,这要求模型有足够容量和可迁移的参数结构。Transformer 类大语言模型与视觉模型正是靠这条路成功的。反例有两类:
- 小型网络:两三层感知机参数太少,学不出可复用的表征,预训练既没必要也不划算。
- 非参数化模型:随机森林、梯度提升没有可与权重矩阵对应的固定参数结构,做不了迁移学习,也就承接不了自监督预训练。
结论:自监督是一种“以大换小”的策略——用大模型的容量加海量数据换泛化性,再把结果迁到小数据集。成本压在预训练阶段(算力、数据、调参),收益体现在下游任务;如果下游本身数据充足,或模型根本装不下通用表征,这笔投资就收不回来。
边界:模型规模与数据规模要匹配,中等规模模型在中等数据上做自监督,常常不如直接有监督训练。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第2章 自监督学习 · 查看原书依据
众所周知,基于Transformer架构的大型语言模型或视觉模型,就是通过自监督学习进行预训练,从而达到良好的效果。 对于只有两三层的感知机这样的小型神经网络来说,自监督学习通常是既不实用也不必要的。
参考来源
- 位置:《大模型技术30讲》第2讲 自监督学习(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0006.xhtml)
- 结论依据:第2章 2.2 使用无标签数据:大模型有效、小型感知机与树模型不适用
- 原始内容:众所周知,基于Transformer架构的大型语言模型或视觉模型,就是通过自监督学习进行预训练,从而达到良好的效果。 对于只有两三层的感知机这样的小型神经网络来说,自监督学习通常是既不实用也不必要的。