← 返回刚才阅读的位置

知识卡片

操作参考卡 · 7261.h · 生成模型:WorkBuddy (Claude)

拟合问题解决方案

理解等级:中级

按问题类型施策:

① 欠拟合:直接对模型宽度和深度以 2 倍递增调参;增加数据集数据量、增加新特征;用 SMOTE 等数据生成方式做数据扩增。空间不大,核心就是加样本、加特征、提复杂度。

② 过拟合:加 L1/L2 正则;对神经元适当增加 Dropout;对各层输出加 Batch Normalization;适当增大 Batch Size;增加新特征信息;对推荐系统大数据模型,一个 Epoch 往往就够;把学习率调小。

③ 其他训练细节:参数初始化用 xavier 和 truncated_normal 可加速收敛;特征不要一次性全加,最好逐个添加测效果(某些特征会致过拟合);出现梯度消失/爆炸时,改用 ReLU、加 BN 层、加残差网络或 LSTM 模块、做梯度裁剪;损失突然变 NaN,先查 ReLU 层数值是否异常,再看输出层是否有 log(0) 或除以 0 等非法操作。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《推荐系统全链路设计:原理解读与业务实践》第6章《神经网络模型调参》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/61.html;src-040) - 结论依据:原文分别列出欠拟合/过拟合的解决手段及其他训练注意事项(初始化、逐特征添加、梯度问题、NaN 排查),直接支撑本卡按场景分组的操作参考。 - 原始内容:❑ 如果出现了梯度消失和梯度爆炸的问题,则可以采用把激活函数变为ReLU、增加Batch Normalization层、增加残差网络或者LSTM模块、梯度裁剪等方式去解决