知识卡片

普通读书笔记卡 · 9840.m · 生成模型:Hunyuan

剪枝策略:先剪枝与后剪枝

理解等级:中级

连续数据让 CART 能长出大量分支,为防过拟合需要剪枝,主流有先剪枝与后剪枝两类。先剪枝预设一个划分阈值,当某节点的划分标准低于阈值就停止分裂,不再生成整棵树;它算法简单、效率高,适合大规模问题的粗略估计,但阈值难选——过高会过拟合(该停没停),过低会欠拟合(切得太早),往往要反复试。

后剪枝又称悲观剪枝,做法相反:先在完全生成的树上,按规则剪掉不具一般代表性的子树,用叶子替代,得到更小的树。它递归估算每个内部节点覆盖样本的误判率,据此决定是否合并。

两者的取舍是效率与精度:先剪枝省算力但依赖阈值,后剪枝更精细却要先付出建整棵树的代价(具体判据见[[悲观剪枝:误判率与剪枝标准]])。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 决策树的发展 · 查看原书依据

      先剪枝给出一个预定义的划分阈值,当节点的划分子集某个标准低于预定义的阈值时,子集划分将终止。但是选取适当的阈值比较困难,过高会导致过拟合,而过低会导致欠拟合,因此需要人工反复地训练样本才能得到很好的效果。

    参考来源

    - 位置:《机器学习算法原理与编程实践》第3章 决策树的发展(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00013.html) - 结论依据:原文对比先剪枝的阈值机制、优缺点与适用规模,并定义后剪枝为在完整树上剪去不具代表性子树、以叶子替代,支撑两类策略的对比。 - 原始内容:先剪枝给出一个预定义的划分阈值,当节点的划分子集某个标准低于预定义的阈值时,子集划分将终止。但是选取适当的阈值比较困难,过高会导致过拟合,而过低会导致欠拟合,因此需要人工反复地训练样本才能得到很好的效果。