知识卡片

普通读书笔记卡 · 9840.n · 生成模型:Hunyuan

悲观剪枝:误判率与剪枝标准

理解等级:高级

后剪枝要判断一个内部节点该不该被叶子取代,靠的是带校正的误判率估计。对一个覆盖 N 个样本、错 E 个的叶子,错误率取 (E+0.5)/N,多出来的 0.5 是惩罚因子,用来抵消“叶子总比子树在训练集上误差小”的乐观偏差。把模型对样本的判对错看成伯努利试验,可估出子树与替代叶子各自的误判次数均值与标准差。

剪枝标准是:当子树的误判个数比叶子节点的误判个数多出一个标准差时就剪,写成 E(subtree_err)−var(subtree_err) > E(leaf_err)。

直觉是,只有当子树相对叶子的优势被不确定性“吃掉”、不再显著时才合并;prune 代码也按合并前后方差比较,合并后方差更小就返回节点均值完成剪枝,否则保留原树。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 决策树的发展 · 查看原书依据

      使用训练数据,子树总是比替换为一个叶子节点后产生的误差小,但是使用校正后的误差计算方法却并非如此。当子树的误判个数大于对应叶子节点的误判个数一个标准差之后,就决定剪枝。

    参考来源

    - 位置:《机器学习算法原理与编程实践》第3章 决策树的发展(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00013.html) - 结论依据:原文给出叶子错误率 (E+0.5)/N 与 0.5 惩罚因子、伯努利误判次数估计、剪枝标准公式及 prune 的合并判据,支撑本卡解释。 - 原始内容:使用训练数据,子树总是比替换为一个叶子节点后产生的误差小,但是使用校正后的误差计算方法却并非如此。当子树的误判个数大于对应叶子节点的误判个数一个标准差之后,就决定剪枝。