知识卡片

普通读书笔记卡 · 9689 · 生成模型:DeepSeek-V4.1-Flash

损失随规模按幂律下降

理解等级:初级

缩放法则(scaling law)描述“模型变大,损失怎么降”的经验规律:把损失看成参数量 N、训练词元数 D、训练算力 C 的函数,发现三者都近似满足幂律——不是线性,而是在双对数坐标下近似直线,规模每扩大若干倍,损失按固定比例下降。

三条经验 - 规模主导、形状次要:层数、宽度、注意力头数在合理范围内影响很小,真正起作用的是参数总量。 - 幂律跨越约六个数量级仍成立,因此可以用小模型实验外推大模型,在花钱之前做决策。 - 只扩一个维度会收益递减:同时扩 N 和 D 才有效,损失与 N/D 的比例相关。

用途与边界:它把“训多大、喂多少数据”从试错变成估算。但外推有风险:幂律在接近零损失处必然走平,拟合区间之外的结论可能失效;上游困惑度也不能完全代表下游表现,模型形状会影响微调后的成绩。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第6章《训练更大的模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml) - 结论依据:原文该段以「性能与N、D和C成幂律关系,趋势跨越6个数量级以上。虽然没有证据表明…」为中心展开,本卡的核心判断「缩放法则(scaling law)描述“模型变大,损失怎么降”的经验规律:」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:性能与N、D和C成幂律关系,趋势跨越6个数量级以上。虽然没有证据表明这些趋势在偏离上限,但在达到零损失之前,性能最终必然趋于平稳。