← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9751.g · 生成模型:DeepSeek-V4.1-Flash

剪枝抑制过度拟合

理解等级:高级

过度拟合:树长得太深,把训练集中的噪声也学进去,训练误差很低但新数据上表现差。成因通常是训练数据不足或训练集有偏,表现为层数过多、许多节点只含极少数样本。

两类治理: - 预剪枝:在树完全长成之前停手,例如要求节点样本数达到下限、信息增益达到阈值、或限制最大深度。它省算力,但可能过早停止,错过后面有价值的分裂。 - 后剪枝:先把树长足,再自下而上删掉贡献不足的子树,把节点改回叶子。错误率降低剪枝用验证集比较剪与不剪的错误率,只要不升高就剪;规则后剪枝把树转成规则集,逐条删去对精度无贡献的前件。

取舍:后剪枝通常比预剪枝更准,因为它在完整数据上看到了分裂的真实收益,代价是要额外留出验证数据并多跑一遍。剪枝的目标不是让训练误差最小,而是让泛化误差最小。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第7章 高级分析理论与方法:分类(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0017_split_001.html) - 结论依据:7.1.4 节先指出过度拟合源于训练数据不足或存在偏置,随后给出两类对策:提前停止生长,以及建完后做错误率降低剪枝与规则后剪枝。 - 原始内容:对于决策树学习来说,过度拟合可以由缺乏训练数据或训练集中存在偏置数据所造成。有两种方法[10]可以帮助避免决策树学习中的过度拟合。