← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9684 · 生成模型:DeepSeek-V4.1-Flash

自监督让规模变成能力

理解等级:中级

三件事同时到位

大语言模型不是单项发明的产物,而是三件事在同一点汇合:数十亿参数的深度神经网络(容量)、TB 级公开语料(原料)、自监督预训练(学习信号)。缺任何一项,规模都换不来能力。

自监督为什么是转折点

传统自然语言任务依赖人工标注,标注成本随数据量线性上涨,规模因此有天花板。自监督把监督信号从数据里造出来:遮住句子的某一部分,让网络预测它。于是任何一段文本都自动变成训练样本,语料规模第一次不再受人力的约束。

代价与推论

训练目标只剩”预测被遮住的部分”,网络学到的是词、短语、句之间的统计关系,而不是被明确告知的事实或规则。这决定了全章讨论的起点:能力来自压缩语言分布,不是来自被授予的知识或意图。

怎么用这个框架

遇到一个”新能力”,先问它需不需要新的监督信号。若只要更多同类文本就能变好,它大概率落在规模换能力的轨道内;若需要新的信号(人工偏好、工具反馈、环境奖励),那才是方法上的变化。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第1章《大语言模型:辩论、争议与未来发展方向》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter3.xhtml) - 结论依据:原文该段以「在训练过程中,这些神经网络的任务是利用一种称为“自监督学习”的方法预…」为中心展开,本卡的核心判断「三件事同时到位 大语言模型不是单项发明的产物,而是三件事在同一点汇合:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:在训练过程中,这些神经网络的任务是利用一种称为“自监督学习”的方法预测输入句子的隐藏部分。由此产生的网络是一个复杂的统计模型,能够反映出训练数据中单词和短语之间的关系。