知识卡片

普通读书笔记卡 · 9687.i · 生成模型:DeepSeek-V4.1-Flash

参数不是唯一尺度

理解等级:高级

同一能力可以由不同规模的模型达到,关键变量不只有参数量,还有训练词元量、数据质量与训练稳定性。

规模与数据的对照很直观:GPT-2 是 1.5B 参数,在 WebText 的百万级网页上训练;GPT-3 放大到 175B 参数、超过一万亿词;而 LLaMA-13B 已能与 175B 的 GPT-3 相比,LLaMA-65B 可与 Chinchilla-70B、PaLM-540B 竞争。参数少一个数量级的模型,靠更充分的训练与更干净的数据可以追上。

规模跨越是质变而非线性外推:OPT 训练 175B 模型时因硬件故障手动重启 35 次,多次回滚检查点、下调学习率,试过从 AdamW 切到 SGD 又切回;学习率、批量与参数量的趋势在 30B 之前一致,到 175B 时基本反过来。大尺度训练的主要矛盾从“调好超参”变成“让训练跑完”。

成本也是边界:训练 LLaMA 约耗 1GWh 电、排放 300 吨二氧化碳,花费约 200 万美元,不含原型设计。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第4章《预训练目标和解码策略》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter6.xhtml) - 结论依据:原文该段以「LLaMA-13B模型已被证明可以与原始175B个参数的GPT-3模…」为中心展开,本卡的核心判断「同一能力可以由不同规模的模型达到,关键变量不只有参数量,还有训练词元量、数据质量与训练稳定性。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:LLaMA-13B模型已被证明可以与原始175B个参数的GPT-3模型相媲美,而LLaMA-65B模型可与其他备受推崇的模型相竞争,如Chinchilla-70B(Hoffmann et al,2022b)和PaLM-540B(Chowdhery et al,2022)。