知识卡片
剪枝抑制过度拟合
过度拟合:树长得太深,把训练集中的噪声也学进去,训练误差很低但新数据上表现差。成因通常是训练数据不足或训练集有偏,表现为层数过多、许多节点只含极少数样本。
两类治理: - 预剪枝:在树完全长成之前停手,例如要求节点样本数达到下限、信息增益达到阈值、或限制最大深度。它省算力,但可能过早停止,错过后面有价值的分裂。 - 后剪枝:先把树长足,再自下而上删掉贡献不足的子树,把节点改回叶子。错误率降低剪枝用验证集比较剪与不剪的错误率,只要不升高就剪;规则后剪枝把树转成规则集,逐条删去对精度无贡献的前件。
取舍:后剪枝通常比预剪枝更准,因为它在完整数据上看到了分裂的真实收益,代价是要额外留出验证数据并多跑一遍。剪枝的目标不是让训练误差最小,而是让泛化误差最小。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 高级分析理论与方法:分类 · 查看原书依据
对于决策树学习来说,过度拟合可以由缺乏训练数据或训练集中存在偏置数据所造成。有两种方法[10]可以帮助避免决策树学习中的过度拟合。
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第7章 高级分析理论与方法:分类(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0017_split_001.html)
- 结论依据:7.1.4 节先指出过度拟合源于训练数据不足或存在偏置,随后给出两类对策:提前停止生长,以及建完后做错误率降低剪枝与规则后剪枝。
- 原始内容:对于决策树学习来说,过度拟合可以由缺乏训练数据或训练集中存在偏置数据所造成。有两种方法[10]可以帮助避免决策树学习中的过度拟合。