知识卡片

普通读书笔记卡 · 9945.d.2 · 生成模型:未记录

剪枝减少树对噪声的拟合

理解等级:高级

预剪枝提前拒绝继续划分,节省计算,但可能错过需要两层组合的规律。后剪枝先让树生长,再用验证表现或复杂度代价选择保留哪些子树。树过深时训练纯度可以很高,泛化判断要以未参与拟合的数据为依据。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 搞懂算法:决策树是怎么回事 · 查看原书依据

      决策树剪枝处理有两种方式:预剪枝和后剪枝。预剪枝是指决策树生成节点前评估当前节点的划分是否能够带来决策树泛化能力的提升。如果当前节点的划分不能带来决策树泛化能力的提升,则以当前节点为叶节点并停止划分。

    参考来源

    - 位置:《从零开始:机器学习的数学原理和算法实践》第9章《搞懂算法:决策树是怎么回事》(来源项目 book-source:extracted/从零开始:机器学习的数学原理和算法实践/_epub-src/OEBPS/Text/chapter009.xhtml) - 结论依据:原文分别描述停止新分支与自底向上替换已长出的子树。 - 原始内容:决策树剪枝处理有两种方式:预剪枝和后剪枝。预剪枝是指决策树生成节点前评估当前节点的划分是否能够带来决策树泛化能力的提升。如果当前节点的划分不能带来决策树泛化能力的提升,则以当前节点为叶节点并停止划分。