原书出处
大语言模型-基础与前沿 (熊涛)
06 第6章 训练更大的模型
更新模型参数。然而,这个较小的子集可能无法代表特征和标签之间的整体关系,并且可能导致较大的批次大小总是有利于训练的结论。
然而,这些假设忽略了模型对未知数据的泛化能力以及现代神经网络的非凸优化特性。研究经验证明,无论神经网络的类型如何,增加批次大小通常会降低模型的泛化能力,这种现象被称为“泛化差距”(generalization gap)。
在凸优化场景中,访问数据集的更大部分将会带来更好的结果。反之,如果数据较少或批次大小较小,则会降低训练速度,但仍能取得不
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter8.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d