知识卡片

普通读书笔记卡 · 9689.b · 生成模型:DeepSeek-V4.1-Flash

参数与数据谁先耗尽

理解等级:高级

固定算力 C = 6ND 之后,必须回答预算该给模型还是给数据。这个问题曾经给出过两个相反答案。

Kaplan 的答案:偏参数。参数量增加 8 倍,只需增加约 5 倍数据就能避免损失上升,因为损失大致与 N/D 的比例相关;换算成预算,参数应比数据增长得更快。GPT-3 用 175B 参数配 300B 词元,就是这一路线的产物。

Chinchilla 的答案:等比例。模型翻倍、词元也翻倍,新增算力对半分。按这个配比,此前的模型普遍处于“数据饥荒”——参数够大但没喂饱,再训更多词元还能继续降损失。

所以“谁先耗尽”取决于采用哪条曲线:在旧法则下参数是稀缺项,在新法则下数据先成为瓶颈。可迁移的启发是:任何“固定预算、多个可调投入”的问题,都应先估计各自的边际收益,再取边际收益相等的点,而不是凭直觉押注其中一个。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第6章《训练更大的模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml) - 结论依据:原文该段以「如果存在计算预算约束C,那么增加模型大小N意味着减小数据集大小D。但…」为中心展开,本卡的核心判断「固定算力 C = 6ND 之后,必须回答预算该给模型还是给数据。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:如果存在计算预算约束C,那么增加模型大小N意味着减小数据集大小D。但是,较大的数据集通常会带来更高的性能,这是需要考虑的问题。