知识卡片
前剪枝与后剪枝的分工
剪枝的本质是把对整体影响不大甚至有害的叶子(及其子树)从模型里去掉。好处有两个:提高对同类问题的泛化能力,减少节点后训练与预测都更快。
前剪枝(预剪枝)在构造过程中同步判断:为信息不确定性下降设定阈值,某特征带来的下降超过阈值才继续分裂。它的困难在于阈值难定——低了几乎不起作用,高了模型学不动;换模型、换数据都要重调,调参成本很高。
后剪枝先把树长得足够大,再自底向上回缩:比较某个叶子回缩到父节点前后的损失函数值,回缩后更小就剪掉。CART 用表面误差增益率 α = (R(t) − R(T_t)) / (N(T_t) − 1) 衡量剪枝对整体误差的影响(R(t) 为节点误差代价,R(T_t) 为子树误差代价,N(T_t) 为子树叶子数),让 α 从 0 增大生成一串子树序列,最后用验证集交叉验证挑误差最小的一棵。
核心差别:前剪枝依据的是当前节点的局部熵变化,后剪枝依据的是整棵树上的全局损失;前者便宜但容易欠拟合,后者训练更贵但通常效果更好。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第8章 推荐系统的主要算法 · 查看原书依据
那么,前、后剪枝的最大区别在于后剪枝的熵的判断是基于全局的,而前剪枝的熵的判断其实是基于当前的。两者对于熵的变化的判断能力是完全不同的,导致表现能力不同。
参考来源
- 位置:《智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)》第8章 推荐系统的主要算法(源文件:extracted/智能搜索和推荐系统:原理、算法与应用(零基础掌握搜索和推荐系统的原理、架构、算法) (智能系统与技术丛书)/_epub-src/text/part0113.html)
- 结论依据:原文明确对比了前剪枝基于当前节点、后剪枝基于全局这一判断范围差异,并指出它导致两者表现不同。
- 原始内容:那么,前、后剪枝的最大区别在于后剪枝的熵的判断是基于全局的,而前剪枝的熵的判断其实是基于当前的。两者对于熵的变化的判断能力是完全不同的,导致表现能力不同。