知识卡片
悲观剪枝:误判率与剪枝标准
后剪枝要判断一个内部节点该不该被叶子取代,靠的是带校正的误判率估计。对一个覆盖 N 个样本、错 E 个的叶子,错误率取 (E+0.5)/N,多出来的 0.5 是惩罚因子,用来抵消“叶子总比子树在训练集上误差小”的乐观偏差。把模型对样本的判对错看成伯努利试验,可估出子树与替代叶子各自的误判次数均值与标准差。
剪枝标准是:当子树的误判个数比叶子节点的误判个数多出一个标准差时就剪,写成 E(subtree_err)−var(subtree_err) > E(leaf_err)。
直觉是,只有当子树相对叶子的优势被不确定性“吃掉”、不再显著时才合并;prune 代码也按合并前后方差比较,合并后方差更小就返回节点均值完成剪枝,否则保留原树。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 决策树的发展 · 查看原书依据
使用训练数据,子树总是比替换为一个叶子节点后产生的误差小,但是使用校正后的误差计算方法却并非如此。当子树的误判个数大于对应叶子节点的误判个数一个标准差之后,就决定剪枝。
参考来源
- 位置:《机器学习算法原理与编程实践》第3章 决策树的发展(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00013.html)
- 结论依据:原文给出叶子错误率 (E+0.5)/N 与 0.5 惩罚因子、伯努利误判次数估计、剪枝标准公式及 prune 的合并判据,支撑本卡解释。
- 原始内容:使用训练数据,子树总是比替换为一个叶子节点后产生的误差小,但是使用校正后的误差计算方法却并非如此。当子树的误判个数大于对应叶子节点的误判个数一个标准差之后,就决定剪枝。