知识卡片
参数不是唯一尺度
同一能力可以由不同规模的模型达到,关键变量不只有参数量,还有训练词元量、数据质量与训练稳定性。
规模与数据的对照很直观:GPT-2 是 1.5B 参数,在 WebText 的百万级网页上训练;GPT-3 放大到 175B 参数、超过一万亿词;而 LLaMA-13B 已能与 175B 的 GPT-3 相比,LLaMA-65B 可与 Chinchilla-70B、PaLM-540B 竞争。参数少一个数量级的模型,靠更充分的训练与更干净的数据可以追上。
规模跨越是质变而非线性外推:OPT 训练 175B 模型时因硬件故障手动重启 35 次,多次回滚检查点、下调学习率,试过从 AdamW 切到 SGD 又切回;学习率、批量与参数量的趋势在 30B 之前一致,到 175B 时基本反过来。大尺度训练的主要矛盾从“调好超参”变成“让训练跑完”。
成本也是边界:训练 LLaMA 约耗 1GWh 电、排放 300 吨二氧化碳,花费约 200 万美元,不含原型设计。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第4章 预训练目标和解码策略 · 查看原书依据
LLaMA-13B模型已被证明可以与原始175B个参数的GPT-3模型相媲美,而LLaMA-65B模型可与其他备受推崇的模型相竞争,如Chinchilla-70B(Hoffmann et al,2022b)和PaLM-540B(Chowdhery et al,2022)。
参考来源
- 位置:《大语言模型-基础与前沿 (熊涛)》第4章《预训练目标和解码策略》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter6.xhtml)
- 结论依据:原文该段以「LLaMA-13B模型已被证明可以与原始175B个参数的GPT-3模…」为中心展开,本卡的核心判断「同一能力可以由不同规模的模型达到,关键变量不只有参数量,还有训练词元量、数据质量与训练稳定性。」由此归纳;适用条件与代价取自同段上下文。
- 原始内容:LLaMA-13B模型已被证明可以与原始175B个参数的GPT-3模型相媲美,而LLaMA-65B模型可与其他备受推崇的模型相竞争,如Chinchilla-70B(Hoffmann et al,2022b)和PaLM-540B(Chowdhery et al,2022)。