知识卡片
涌现:跨过阈值才出现
涌现(emergence)指某些能力在小模型上几乎测不出来,规模跨过某道门槛后突然出现并快速上升,曲线像相变而非平滑增长。文献中已在 GPT-3、Chinchilla、PaLM 上记录了一百多项此类能力,涵盖算术、大学水平多学科理解、词义辨别等;思维链提示也属此类——参数不够时几乎无效,够大后才显著提分。
与缩放法则的关系:两者互补。幂律描述平均损失的平滑下降,涌现描述具体任务指标在某个区间被“解锁”。实践含义有两条:不能凭小模型的表现断定某能力做不到,也不能据此否定一个想法;评测必须覆盖足够大的规模区间,否则会漏掉拐点。
边界:涌现是否为大模型的固有属性仍有争议,另一种解读认为它是度量的产物;此外还存在反缩放现象,即某些任务随规模变大反而变差。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第6章 训练更大的模型 · 查看原书依据
当大语言模型扩大尺度时,人工智能研究人员观察到某些任务的性能会出现不可预测的突然跃升。这种涌现现象只能在超过一定规模的模型中观察到,而不会出现在小型模型中。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第6章《训练更大的模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml)
- 结论依据:原文该段以「当大语言模型扩大尺度时,人工智能研究人员观察到某些任务的性能会出现不…」为中心展开,本卡的核心判断「涌现(emergence)指某些能力在小模型上几乎测不出来,规模跨过某道门槛后突然出现并快速上升,曲线像相变而非平滑增长。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:当大语言模型扩大尺度时,人工智能研究人员观察到某些任务的性能会出现不可预测的突然跃升。这种涌现现象只能在超过一定规模的模型中观察到,而不会出现在小型模型中。