知识卡片
欠拟合与过拟合
用同一批汽车与摩托车样本,模型一只有“大且四轮”一条规则:训练样本分不对,新来的自行车也分错,这是欠拟合——模型容量不足以表达数据中的区分结构。模型二追加了大量苛刻条件,训练样本全对,却把“前后轮胎不一样、车头有豹子头”的新样本判错,这是过拟合——它把训练集里的噪声(混入的自行车)也当成了规律。判断标准因此不是训练集准确率,而是对未见过样本的泛化能力。可行手段是放宽硬性条件、给条件加惩罚(正则化),只保留真正稳定的区分特征。样本中的噪声无法完全避免,所以目标不是零错误,而是训练误差与泛化误差同时可接受;样本趋于无穷多虽然更理想,但获取代价太大,实际只能取近似解。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 让机器可以像人一样学习(上) · 查看原书依据
小明的模型一很简单,既没有把训练样本分得很好,也没有把新的测试样本分得很好,这就是欠拟合现象;模型二很复杂,虽然把训练样本区分得很好,但是对新的测试样本(图3.4)不能很好地区分,这就是过拟合现象
参考来源
- 位置:《文本上的算法——深入浅出自然语言处理》第3章 让机器可以像人一样学习(上)(源文件:extracted/文本上的算法——深入浅出自然语言处理/_epub-src/OEBPS/Text/00008.html)
- 结论依据:原文这一段直接给出本卡的核心判断:「小明的模型一很简单,既没有把训练样本分得很好,也没有把新的测试样本分得很好,这就……」
- 原始内容:小明的模型一很简单,既没有把训练样本分得很好,也没有把新的测试样本分得很好,这就是欠拟合现象;模型二很复杂,虽然把训练样本区分得很好,但是对新的测试样本(图3.4)不能很好地区分,这就是过拟合现象