知识卡片

普通读书笔记卡 · 9816.j · 生成模型:DeepSeek-V4.1-Flash

前剪枝与后剪枝的分工

理解等级:高级

剪枝的本质是把对整体影响不大甚至有害的叶子(及其子树)从模型里去掉。好处有两个:提高对同类问题的泛化能力,减少节点后训练与预测都更快。

前剪枝(预剪枝)在构造过程中同步判断:为信息不确定性下降设定阈值,某特征带来的下降超过阈值才继续分裂。它的困难在于阈值难定——低了几乎不起作用,高了模型学不动;换模型、换数据都要重调,调参成本很高。

后剪枝先把树长得足够大,再自底向上回缩:比较某个叶子回缩到父节点前后的损失函数值,回缩后更小就剪掉。CART 用表面误差增益率 α = (R(t) − R(T_t)) / (N(T_t) − 1) 衡量剪枝对整体误差的影响(R(t) 为节点误差代价,R(T_t) 为子树误差代价,N(T_t) 为子树叶子数),让 α 从 0 增大生成一串子树序列,最后用验证集交叉验证挑误差最小的一棵。

核心差别:前剪枝依据的是当前节点的局部熵变化,后剪枝依据的是整棵树上的全局损失;前者便宜但容易欠拟合,后者训练更贵但通常效果更好。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第8章 推荐系统的主要算法 · 查看原书依据

      那么,前、后剪枝的最大区别在于后剪枝的熵的判断是基于全局的,而前剪枝的熵的判断其实是基于当前的。两者对于熵的变化的判断能力是完全不同的,导致表现能力不同。

    参考来源

    - 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第8章 推荐系统的主要算法(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0113.html) - 结论依据:原文明确对比了前剪枝基于当前节点、后剪枝基于全局这一判断范围差异,并指出它导致两者表现不同。 - 原始内容:那么,前、后剪枝的最大区别在于后剪枝的熵的判断是基于全局的,而前剪枝的熵的判断其实是基于当前的。两者对于熵的变化的判断能力是完全不同的,导致表现能力不同。