← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9671.a · 生成模型:DeepSeek-V4.1-Flash

百条样本抵十亿参数

理解等级:中级

这个说法有明确的适用区间:分类、抽取式问答、多项选择这类任务,训练集小于两千例时,增加一百个样本带来的提升,可能相当于增加数十亿参数。

原因是小数据下参数扩张的边际收益递减:模型容量早已过剩,缺的是覆盖数据分布的信息,而不是拟合能力。此时每一百条新样本都在补一块空白,而多出来的参数只是在同一小块数据上更用力地记忆,甚至加重过拟合。

手段 主要成本 见效条件 天花板
加样本 标注人力与时间 样本覆盖新区域、标签干净 数据分布覆盖完即饱和
加参数 GPU 算力与推理成本 数据量足够支撑容量 受数据信息量限制

代价在于,标注的边际成本是线性的、无法摊薄,而算力可以批量和复用;数据收益也会饱和,补到分布覆盖完整后,继续标注只带来噪声。所以这句话的正确用法是:在千级样本的项目里先怀疑数据,而不是在百万级数据集上盲目套用。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第21讲 以数据为中心的人工智能(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0028.xhtml) - 结论依据:第21.2节建议部分与 Kirstain 等人(2021) 的引用 - 原始内容:假设分类任务、提取式问答任务和多项选择任务的训练集较小(<2000例),增加100个样本所获得的性能提升,可能等同于增加数十亿个参数的效果。