← 返回刚才阅读的位置

知识卡片

问题卡 · 9652.a · 生成模型:DeepSeek-V4.1-Flash

自监督只对大模型划算

理解等级:中级

问题:自监督既然如此有效,为什么不是所有模型都该用?

分析:自监督的收益来自“用海量无标签数据预训练出一个通用表征”,这要求模型有足够容量和可迁移的参数结构。Transformer 类大语言模型与视觉模型正是靠这条路成功的。反例有两类:

  1. 小型网络:两三层感知机参数太少,学不出可复用的表征,预训练既没必要也不划算。
  2. 非参数化模型:随机森林、梯度提升没有可与权重矩阵对应的固定参数结构,做不了迁移学习,也就承接不了自监督预训练。

结论:自监督是一种“以大换小”的策略——用大模型的容量加海量数据换泛化性,再把结果迁到小数据集。成本压在预训练阶段(算力、数据、调参),收益体现在下游任务;如果下游本身数据充足,或模型根本装不下通用表征,这笔投资就收不回来。

边界:模型规模与数据规模要匹配,中等规模模型在中等数据上做自监督,常常不如直接有监督训练。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第2章 自监督学习 · 查看原书依据

      众所周知,基于Transformer架构的大型语言模型或视觉模型,就是通过自监督学习进行预训练,从而达到良好的效果。 对于只有两三层的感知机这样的小型神经网络来说,自监督学习通常是既不实用也不必要的。

    参考来源

    - 位置:《大模型技术30讲》第2讲 自监督学习(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0006.xhtml) - 结论依据:第2章 2.2 使用无标签数据:大模型有效、小型感知机与树模型不适用 - 原始内容:众所周知,基于Transformer架构的大型语言模型或视觉模型,就是通过自监督学习进行预训练,从而达到良好的效果。 对于只有两三层的感知机这样的小型神经网络来说,自监督学习通常是既不实用也不必要的。