知识卡片
百条样本抵十亿参数
这个说法有明确的适用区间:分类、抽取式问答、多项选择这类任务,训练集小于两千例时,增加一百个样本带来的提升,可能相当于增加数十亿参数。
原因是小数据下参数扩张的边际收益递减:模型容量早已过剩,缺的是覆盖数据分布的信息,而不是拟合能力。此时每一百条新样本都在补一块空白,而多出来的参数只是在同一小块数据上更用力地记忆,甚至加重过拟合。
| 手段 | 主要成本 | 见效条件 | 天花板 |
|---|---|---|---|
| 加样本 | 标注人力与时间 | 样本覆盖新区域、标签干净 | 数据分布覆盖完即饱和 |
| 加参数 | GPU 算力与推理成本 | 数据量足够支撑容量 | 受数据信息量限制 |
代价在于,标注的边际成本是线性的、无法摊薄,而算力可以批量和复用;数据收益也会饱和,补到分布覆盖完整后,继续标注只带来噪声。所以这句话的正确用法是:在千级样本的项目里先怀疑数据,而不是在百万级数据集上盲目套用。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第21章 以数据为中心的人工智能 · 查看原书依据
假设分类任务、提取式问答任务和多项选择任务的训练集较小(<2000例),增加100个样本所获得的性能提升,可能等同于增加数十亿个参数的效果。
参考来源
- 位置:《大模型技术30讲》第21讲 以数据为中心的人工智能(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0028.xhtml)
- 结论依据:第21.2节建议部分与 Kirstain 等人(2021) 的引用
- 原始内容:假设分类任务、提取式问答任务和多项选择任务的训练集较小(<2000例),增加100个样本所获得的性能提升,可能等同于增加数十亿个参数的效果。