知识卡片
涌现:规模带来的意外能力
现象
当模型足够大、语料足够丰富时,会出现训练目标没有逐项要求的能力:解题、按格式输出、跨语言迁移、按指令改写。这些能力不是教出来的,而是在规模跨过某个区间后出现的。
解释一:确实学到了更高层的结构
优化精确的序列预测,近似于压缩数据的生成过程;要压得更狠,就得发现词序列背后的规律,而这些规律可以用知识、信念这类高层术语来描述。梯度下降能高度准确地逼近任意可计算函数,只要参数、数据、算力足够,发现这种机制在理论上并不奇怪。
解释二:我们只是换了描述
同一组权重,用低层词汇说是矩阵运算,用高层词汇说是推理。所谓涌现,可能部分来自评测指标的不连续:任务要求全对,能力稍差就全错,曲线看上去就像突变。
怎么用
把涌现当作待解释的现象,而不是解释本身。先换连续指标复测,确认它是否真的不连续;再问这种能力需要什么样的内部机制,以及该机制能否被探针找到。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第1章 大语言模型:辩论、争议与未来发展方向 · 查看原书依据
语言模型最近取得的进展表明,当足够大的模型在丰富的文本数据上进行训练时,就会涌现非同寻常和意想不到的能力。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第1章《大语言模型:辩论、争议与未来发展方向》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter3.xhtml)
- 结论依据:原文该段以「语言模型最近取得的进展表明,当足够大的模型在丰富的文本数据上进行训练…」为中心展开,本卡的核心判断「现象 当模型足够大、语料足够丰富时,会出现训练目标没有逐项要求的能力:」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:语言模型最近取得的进展表明,当足够大的模型在丰富的文本数据上进行训练时,就会涌现非同寻常和意想不到的能力。