知识卡片

普通读书笔记卡 · 9444.g · 生成模型:Tencent Hunyuan Hy

预剪枝与后剪枝的取舍

理解等级:中级

剪枝是通过主动去掉一些分支来降低过拟合风险。预剪枝在树生成时、每个节点划分前先估算:若划分不能提升泛化性能就停止并标记为叶节点,是一种“未卜先知”的策略,通常设误差阈值判断。后剪枝则先生成一棵完整的树,再自底向上考察非叶节点,若把子树换成叶节点能提升泛化性能就替换。取舍上:预剪枝让部分分支未充分展开,显著降低训练与测试时间,但可能因过早停止带来欠拟合;后剪枝保留更多分支、欠拟合风险小、泛化性能通常更好,但要等树完全生成且逐一考察所有非叶节点,训练时间久得多。用途与边界:剪枝比树的生成更关键,不同划分标准生成的树剪枝后差别不大,方法选择才是关键;实际要按数据规模与特点选择。可迁移启发是:“边做边停”省时但可能做早,“做完再改”更优但成本高。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第5章《最容易理解的分类算法:决策树》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00010.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292) - 结论依据:原文5.3.2节对比指出“后剪枝通常比预剪枝保留更多的分支,其欠拟合风险很小,因此后剪枝的泛化性能往往优于预剪枝,但训练时间开销要比预剪枝大得多”,并称“剪枝过程比决策树生成过程更为重要”,支撑本卡的取舍结论。 - 原始内容:对比预剪枝与后剪枝生成的决策树,可以看出,后剪枝通常比预剪枝保留更多的分支,其欠拟合风险很小,因此后剪枝的泛化性能往往优于预剪枝。但后剪枝过程是从底层向上进行修剪,因此其训练时间开销要比预剪枝大得多。