原书出处
大模型技术30讲
06 第6章 通过改进模型减少过拟合现象
,可以大致分为三类:正则化、选择更小的模型、构建集成模型。 6.1.1 正则化
我们可以将正则化理解为针对模型复杂度的惩罚机制。神经网络中的经典正则化技术包括L2正则化及相关的权重衰减方法。我们可以在训练过程中给损失函数添加一个惩罚项,实现L2正则化。
这个额外的惩罚项需要能够体现权重的大小,比如权重的平方和。以下公式就是一个L2正
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0010.xhtml
EPUB SHA-256:aed12db0b1b08a8757496d8d12796b8829fa2546eb77ccf47b557e4abbb6a0ec