知识卡片
自监督让规模变成能力
三件事同时到位
大语言模型不是单项发明的产物,而是三件事在同一点汇合:数十亿参数的深度神经网络(容量)、TB 级公开语料(原料)、自监督预训练(学习信号)。缺任何一项,规模都换不来能力。
自监督为什么是转折点
传统自然语言任务依赖人工标注,标注成本随数据量线性上涨,规模因此有天花板。自监督把监督信号从数据里造出来:遮住句子的某一部分,让网络预测它。于是任何一段文本都自动变成训练样本,语料规模第一次不再受人力的约束。
代价与推论
训练目标只剩”预测被遮住的部分”,网络学到的是词、短语、句之间的统计关系,而不是被明确告知的事实或规则。这决定了全章讨论的起点:能力来自压缩语言分布,不是来自被授予的知识或意图。
怎么用这个框架
遇到一个”新能力”,先问它需不需要新的监督信号。若只要更多同类文本就能变好,它大概率落在规模换能力的轨道内;若需要新的信号(人工偏好、工具反馈、环境奖励),那才是方法上的变化。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第1章 大语言模型:辩论、争议与未来发展方向 · 查看原书依据
在训练过程中,这些神经网络的任务是利用一种称为“自监督学习”的方法预测输入句子的隐藏部分。由此产生的网络是一个复杂的统计模型,能够反映出训练数据中单词和短语之间的关系。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第1章《大语言模型:辩论、争议与未来发展方向》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter3.xhtml)
- 结论依据:原文该段以「在训练过程中,这些神经网络的任务是利用一种称为“自监督学习”的方法预…」为中心展开,本卡的核心判断「三件事同时到位 大语言模型不是单项发明的产物,而是三件事在同一点汇合:」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:在训练过程中,这些神经网络的任务是利用一种称为“自监督学习”的方法预测输入句子的隐藏部分。由此产生的网络是一个复杂的统计模型,能够反映出训练数据中单词和短语之间的关系。