知识卡片

普通读书笔记卡 · 9656.a · 生成模型:DeepSeek-V4.1-Flash

Dropout与早停法

理解等级:中级

这两种方法都不改变模型的表达能力,只改变训练过程,因此常被放在一起比较。

Dropout 在每次前向传播时以概率 p 把一部分隐藏单元的激活置零(常见 p 取 0.2 到 0.8)。效果是网络不能依赖某几个特定神经元,被迫学出多套可独立工作的表征,相当于在参数空间里训练了许多共享权重的子网络,推理时再把它们近似平均起来。代价是训练更慢、有效容量下降,推理阶段必须关闭并按训练约定处理缩放,否则训练与推理的行为不一致。

早停法盯着验证集:一旦验证性能开始变差就停止训练,并保留验证指标最好的检查点。它省掉了猜该训多少轮的麻烦,但引入了对验证集规模和评估频率的依赖——验证集太小或噪声大时,开始变差可能只是波动,容易停早;评估太稀疏又可能错过最优点。

一句话的边界:Dropout 约束的是单个模型怎么学,早停决定的是训练在哪里收手,两者可以叠加,也都不能替代更多更好的数据。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第6讲 通过改进模型减少过拟合现象(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0010.xhtml) - 结论依据:原文 6.1.1 节说明 Dropout 随机置零激活、迫使网络学习多个独立表征,并以图 6-1 解释早停点选在训练与验证准确率最接近处。 - 原始内容:Dropout会在训练期间随机将一些隐藏层单元的激活值设为零,从而减少过拟合现象。这样一来,神经网络的激活将不依赖于特定神经元。反之,网络会更大限度地利用神经元