← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9689.c · 生成模型:DeepSeek-V4.1-Flash

Chinchilla配比法则

理解等级:中级

Chinchilla(Hoffmann 等,2022)用三种互相独立的方法在 10¹⁸ 到 10²¹ FLOP 的 9 个算力档上做实验:固定模型扫数据、固定数据扫模型、直接拟合参数化的损失面,结论一致——算力最优时参数量与训练词元数应按相同比例增长,模型翻倍则词元也翻倍,等价于约 20 个词元/参数的经验配比。

验证:训一个 70B 参数的模型,喂约 1.4 万亿词元,在多数基准上超过 175B 的 GPT-3 和 270B 的 Gopher。这说明“参数多”不是唯一路径,同算力下小模型加多数据往往更划算,而且小模型推理更便宜。

边界:这里的“最优”是训练算力最优。若模型要长期在线服务,推理成本会主导总账,此时应选更小模型、喂更多数据(即后来的过训练路线);反之若高质量数据受限,就只能靠增大参数。配比还依赖数据分布与分词器,跨数据集不能照搬。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 训练更大的模型 · 查看原书依据

      Hoffmann et al(2022a)引入的Chinchilla模型考虑到了这一点,并发现了数据与模型规模之间的不同关系。他们发现的最佳比例是50∶50,这表明数据规模应与模型规模成正比,从侧面也表明需要更大规模的高质量数据。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第6章《训练更大的模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml) - 结论依据:原文该段以「Hoffmann et al(2022a)引入的Chinchilla…」为中心展开,本卡的核心判断「Chinchilla(Hoffmann 等,2022)用三种互相独立的方法在 1」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:Hoffmann et al(2022a)引入的Chinchilla模型考虑到了这一点,并发现了数据与模型规模之间的不同关系。他们发现的最佳比例是50∶50,这表明数据规模应与模型规模成正比,从侧面也表明需要更大规模的高质量数据。