知识卡片
拟合问题解决方案
按问题类型施策:
① 欠拟合:直接对模型宽度和深度以 2 倍递增调参;增加数据集数据量、增加新特征;用 SMOTE 等数据生成方式做数据扩增。空间不大,核心就是加样本、加特征、提复杂度。
② 过拟合:加 L1/L2 正则;对神经元适当增加 Dropout;对各层输出加 Batch Normalization;适当增大 Batch Size;增加新特征信息;对推荐系统大数据模型,一个 Epoch 往往就够;把学习率调小。
③ 其他训练细节:参数初始化用 xavier 和 truncated_normal 可加速收敛;特征不要一次性全加,最好逐个添加测效果(某些特征会致过拟合);出现梯度消失/爆炸时,改用 ReLU、加 BN 层、加残差网络或 LSTM 模块、做梯度裁剪;损失突然变 NaN,先查 ReLU 层数值是否异常,再看输出层是否有 log(0) 或除以 0 等非法操作。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 神经网络模型调参 6.4 怎么解决神经网络的拟合问题 · 查看原书依据
❑ 如果出现了梯度消失和梯度爆炸的问题,则可以采用把激活函数变为ReLU、增加Batch Normalization层、增加残差网络或者LSTM模块、梯度裁剪等方式去解决
参考来源
- 位置:《推荐系统全链路设计:原理解读与业务实践》第6章《神经网络模型调参》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/61.html;src-040)
- 结论依据:原文分别列出欠拟合/过拟合的解决手段及其他训练注意事项(初始化、逐特征添加、梯度问题、NaN 排查),直接支撑本卡按场景分组的操作参考。
- 原始内容:❑ 如果出现了梯度消失和梯度爆炸的问题,则可以采用把激活函数变为ReLU、增加Batch Normalization层、增加残差网络或者LSTM模块、梯度裁剪等方式去解决