知识卡片

普通读书笔记卡 · 9689.l · 生成模型:DeepSeek-V4.1-Flash

大批次为何伤泛化

理解等级:高级

想用数据并行加速就得同步放大批次,否则卡多了也没活干;但批次不能无限放大:经验上批次越大,泛化越差,这被称为泛化差距(generalization gap)。

两个机制 - 噪声。小批次用少量样本估梯度,噪声大,相当于在损失曲面上随机游走,容易探索到更宽的区域并落在平坦极小值;大批次梯度准,容易掉进尖锐极小值,换到测试分布上损失就抬升。 - 更新次数。批次大小与权重更新次数成反比,同样数据量下大批次走的步数更少,探索不足。

对策:线性缩放规则(批次放大 k 倍,学习率也放大 k 倍)配合预热,前几轮从低学习率爬升以避免初期发散;幽灵批次归一化,把批次切成小块分别统计,增加更新次数而不缩小批次;锐度感知最小化(SAM),显式寻找邻域内损失都低的平坦解,代价是每步多一次前向与反向传播。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 训练更大的模型 · 查看原书依据

      然而,这些假设忽略了模型对未知数据的泛化能力以及现代神经网络的非凸优化特性。研究经验证明,无论神经网络的类型如何,增加批次大小通常会降低模型的泛化能力,这种现象被称为“泛化差距”(generalization gap)。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第6章《训练更大的模型》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml) - 结论依据:原文该段以「然而,这些假设忽略了模型对未知数据的泛化能力以及现代神经网络的非凸优…」为中心展开,本卡的核心判断「想用数据并行加速就得同步放大批次,否则卡多了也没活干;」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:然而,这些假设忽略了模型对未知数据的泛化能力以及现代神经网络的非凸优化特性。研究经验证明,无论神经网络的类型如何,增加批次大小通常会降低模型的泛化能力,这种现象被称为“泛化差距”(generalization gap)。