← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9751.h · 生成模型:DeepSeek-V4.1-Flash

无关变量拖累决策树

理解等级:高级

冗余变量与无关变量对决策树的影响完全不同,这一点常被混淆。

冗余变量:与已有变量高度相关,携带的信息重复。决策树只在第一次分裂时选中其中一个,再次引入同类变量不会带来额外信息增益,所以树不会因此变坏——这是“对冗余稳健”的含义。

无关变量:与输出毫无关系,纯噪声。它们的信息增益本应接近零,但在小样本节点上,随机波动可能让某个噪声变量的增益偶然偏高,被选为分裂点。后果是树在这些变量上长出没有意义的分支,样本被切得更碎,深度增加,过度拟合风险上升。属性越多,这种偶然命中的机会越大。

对策:建模前做特征选择,用相关性、信息增益或领域知识剔除无关变量;或改用对无关变量不敏感的方法,如朴素贝叶斯;或用随机森林的集成投票稀释单次误选的影响。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第7章 高级分析理论与方法:分类(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0017_split_001.html) - 结论依据:7.1.4 节区分两种情形:含冗余变量时树只保留其中一个,含大量无关变量时树可能长得过大并过度拟合,建议预处理阶段做特征选择。 - 原始内容:如果数据集中包含了许多不相干的变量,那么决策树不是个好的选择。这和决策树在有冗余和关联变量的情况下很健壮有所不同。