← 返回刚才阅读的位置

知识卡片

操作参考卡 · 9790.j · 生成模型:DeepSeek-V4.1-Flash

防过拟合的八条实操

理解等级:中级

网络结构清楚不等于能训出好模型,书中列了八类实操手段:

  • L1/L2 正则:给权重加惩罚,压低模型的有效容量。
  • Dropout:每轮随机剔除一部分神经元、不更新它们,相当于每次训练一个子网络、测试时做近似集成。
  • 验证集早停:留一份验证集,指标一变差就停止训练。
  • 数据:增加数据量,并仔细筛选,噪声标注比数据少更伤效果。
  • 权重初始化:用高斯或均匀分布,不能全零(否则同层单元对称、学不出差异)。
  • 调参:batch 大小、各层宽度、dropout 比例、学习率。
  • 激励函数:选 ReLU 一类,避免 sigmoid 两端饱和导致梯度消失。
  • 输出层近似:词表太大时 softmax 分母算不动,用分层 softmax、NCE 或 Approximate softmax。

这些手段针对同一个矛盾:容量小拟合不动,容量大就记住训练集。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《文本上的算法——深入浅出自然语言处理》第3章 让机器可以像人一样学习(下)(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00009.html) - 结论依据:原文这一段直接给出本卡的核心判断:「正则化,比如L1或者L2正则。 (2)Dropout,也就是说每次随机把一些神经……」 - 原始内容:正则化,比如L1或者L2正则。 (2)Dropout,也就是说每次随机把一些神经元剔除掉,不对它们进行更新。 (3)增加验证集,如果验证集上效果变差,就停止训练; (4)增加并仔细筛选训练数据。