知识卡片
预剪枝与后剪枝的取舍
剪枝是通过主动去掉一些分支来降低过拟合风险。预剪枝在树生成时、每个节点划分前先估算:若划分不能提升泛化性能就停止并标记为叶节点,是一种“未卜先知”的策略,通常设误差阈值判断。后剪枝则先生成一棵完整的树,再自底向上考察非叶节点,若把子树换成叶节点能提升泛化性能就替换。取舍上:预剪枝让部分分支未充分展开,显著降低训练与测试时间,但可能因过早停止带来欠拟合;后剪枝保留更多分支、欠拟合风险小、泛化性能通常更好,但要等树完全生成且逐一考察所有非叶节点,训练时间久得多。用途与边界:剪枝比树的生成更关键,不同划分标准生成的树剪枝后差别不大,方法选择才是关键;实际要按数据规模与特点选择。可迁移启发是:“边做边停”省时但可能做早,“做完再改”更优但成本高。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 最容易理解的分类算法:决策树 5.3.2 决策树剪枝 · 查看原书依据
对比预剪枝与后剪枝生成的决策树,可以看出,后剪枝通常比预剪枝保留更多的分支,其欠拟合风险很小,因此后剪枝的泛化性能往往优于预剪枝。但后剪枝过程是从底层向上进行修剪,因此其训练时间开销要比预剪枝大得多。
参考来源
- 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第5章《最容易理解的分类算法:决策树》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00010.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文5.3.2节对比指出“后剪枝通常比预剪枝保留更多的分支,其欠拟合风险很小,因此后剪枝的泛化性能往往优于预剪枝,但训练时间开销要比预剪枝大得多”,并称“剪枝过程比决策树生成过程更为重要”,支撑本卡的取舍结论。
- 原始内容:对比预剪枝与后剪枝生成的决策树,可以看出,后剪枝通常比预剪枝保留更多的分支,其欠拟合风险很小,因此后剪枝的泛化性能往往优于预剪枝。但后剪枝过程是从底层向上进行修剪,因此其训练时间开销要比预剪枝大得多。