知识卡片
防过拟合的八条实操
网络结构清楚不等于能训出好模型,书中列了八类实操手段:
- L1/L2 正则:给权重加惩罚,压低模型的有效容量。
- Dropout:每轮随机剔除一部分神经元、不更新它们,相当于每次训练一个子网络、测试时做近似集成。
- 验证集早停:留一份验证集,指标一变差就停止训练。
- 数据:增加数据量,并仔细筛选,噪声标注比数据少更伤效果。
- 权重初始化:用高斯或均匀分布,不能全零(否则同层单元对称、学不出差异)。
- 调参:batch 大小、各层宽度、dropout 比例、学习率。
- 激励函数:选 ReLU 一类,避免 sigmoid 两端饱和导致梯度消失。
- 输出层近似:词表太大时 softmax 分母算不动,用分层 softmax、NCE 或 Approximate softmax。
这些手段针对同一个矛盾:容量小拟合不动,容量大就记住训练集。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 让机器可以像人一样学习(下) · 查看原书依据
正则化,比如L1或者L2正则。 (2)Dropout,也就是说每次随机把一些神经元剔除掉,不对它们进行更新。 (3)增加验证集,如果验证集上效果变差,就停止训练; (4)增加并仔细筛选训练数据。
参考来源
- 位置:《文本上的算法——深入浅出自然语言处理》第3章 让机器可以像人一样学习(下)(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00009.html)
- 结论依据:原文这一段直接给出本卡的核心判断:「正则化,比如L1或者L2正则。 (2)Dropout,也就是说每次随机把一些神经……」
- 原始内容:正则化,比如L1或者L2正则。 (2)Dropout,也就是说每次随机把一些神经元剔除掉,不对它们进行更新。 (3)增加验证集,如果验证集上效果变差,就停止训练; (4)增加并仔细筛选训练数据。