← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9658.a · 生成模型:DeepSeek-V4.1-Flash

自监督预训练的目标

理解等级:中级

预训练解决的是标签瓶颈:人工标注的数据永远有限,而未标注文本几乎无限。

自监督的做法是给数据自己造标签——遮住句子里的一个词让模型猜,或者给它两个相邻句子判断后者是不是前者的下一句。模型为了做好这件事,必须掌握词义、句法、指代和一定的世界知识,这些能力被压进参数,形成可迁移的通用语言表征。下游任务只需少量标注数据做微调。

为什么有效:它把预测下一个词这种极便宜的训练信号,转换成了对语言结构的压缩。任务越难、数据越多,表征越好,这也是大模型路线的起点。

边界在于两点:预训练目标与下游任务并不一致,学到的能力需要微调或提示来激活;这套方法在自然语言上已被反复验证,但在计算机视觉上是否同样有效,书中明确说仍是研究热点。此外预训练本身耗算力巨大,只有在大规模数据上才能摊薄成本。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第8讲 Transformer架构的成功(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0012.xhtml) - 结论依据:原文 8.2 节说明预训练通过预测缺失词或下一句学习通用语言表征,并指出其在视觉任务上的有效性仍是研究热点;8.3 节补充无标签数据的价值。 - 原始内容:预训练时,Transformer会学习预测句子中缺失的词语,或是文档中的下一个句子。通过学习这些内容,模型强行掌握了能够广泛适用于各类下游任务的语言通用表征。