知识卡片
神经网络欠拟合与过拟合
神经网络拟合问题分两种:
① 欠拟合:训练集数据量小、或模型参数(容量)不足导致。表现为模型连训练集都学不好,训练与验证指标都差。解决思路偏“做加法”——加样本、加特征、提复杂度。
② 过拟合:模型把训练集学得“太好”,对训练样本敏感、对其他样本缺乏敏感性。典型现象是训练集表现很好、验证集表现差——如同学生只刷了老师给的卷子(表象)却没学到内核,换一份卷子就不会做。解决思路偏“做减法/正则”——降复杂度、加约束。
二者方向相反,调参时先用“先过拟合再裁剪”的思路确认模型容量上限,再针对性处理(具体手段见 [[拟合问题解决方案]])。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 神经网络模型调参 6.4 怎么解决神经网络的拟合问题 · 查看原书依据
模型过拟合的典型现象是,模型在训练集上的表现很好,但是在验证集上的效果不好
参考来源
- 位置:《推荐系统全链路设计:原理解读与业务实践》第6章《神经网络模型调参》(来源项目book-sources;extracted/推荐系统全链路设计:原理解读与业务实践/_epub-src/converter-master/example/312287/61.html;src-040)
- 结论依据:原文将拟合问题分为欠拟合(数据小/参数不足)与过拟合(学太好、训练好验证差)并给出“刷老师卷子”式的直观解释,直接支撑本卡对两类问题的定义与区分。
- 原始内容:模型过拟合的典型现象是,模型在训练集上的表现很好,但是在验证集上的效果不好