知识卡片

普通读书笔记卡 · 9689.g · 生成模型:DeepSeek-V4.1-Flash

涌现可能是度量错觉

理解等级:高级

对涌现的一种反向解释:能力不是突然获得,而是评价指标把连续的进步折叠成了阶跃。

论证三步 1. 指标非线性。多数指标要求整题全对,当每词元错误率从 0.3 平滑降到 0.05,整题正确率会表现为从近零跳到较高值。 2. 小模型样本少。稍有偏差就几乎全错,看上去完全不会,制造出“零到一”的假象。 3. 被评估的大模型数量太少,也会放大拐点。

检验:换用连续的度量(如每词元编辑距离、对数似然)重绘同一批模型输出,阶跃大多被抹平;同样的现象还能在卷积网络、自编码器的视觉任务上复现。

启发:报告能力必须同时交代指标定义与样本量,指标选择本身就是一种主张。需要区分的是:这一批评推翻的是“不可预测的跃升”,并不否认大模型确实更强、更样本高效。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 训练更大的模型 · 查看原书依据

      Schaeffer等认为,涌现能力是一种“海市蜃楼”,主要是由所选指标导致的每个词元错误率的非线性或不连续变形造成的。此外,较小模型的测试数据有限,可能导致它们看起来完全无法完成任务,从而进一步助长了关于涌现能力的错觉。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第6章《训练更大的模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml) - 结论依据:原文该段以「Schaeffer等认为,涌现能力是一种“海市蜃楼”,主要是由所选指…」为中心展开,本卡的核心判断「对涌现的一种反向解释:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:Schaeffer等认为,涌现能力是一种“海市蜃楼”,主要是由所选指标导致的每个词元错误率的非线性或不连续变形造成的。此外,较小模型的测试数据有限,可能导致它们看起来完全无法完成任务,从而进一步助长了关于涌现能力的错觉。