知识卡片
自变量处理的两个技巧
类别型自变量有 q 个属性时,把它二分成两组共有 2^{q-1}-1 种方案,q 一大计算量就爆炸。若因变量是 0—1 二分类,可以按各类别中 1 类的比例排序,把类别当成有序变量扫描切点,只需 q-1 个候选;可以证明在 Gini 或熵标准下,这样得到的结果与穷举 2^{q-1}-1 种方案的最优解一致。连续因变量的回归树按各类别因变量均值排序也有同样结论,多分类则不成立。缺失值方面,除删除或用均值、众数差补外,决策树有两个专门办法:把缺失单列为一个类别(性别分为男、女、未知),可能发现缺失本身携带的规律;或构造替代变量,先用无缺失观测选出最优分枝变量,再依次找能近似其分枝效果的变量,预测时主变量缺失就按顺序替补。变量间相关性越高,替代带来的信息损失越小。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 决策树与组合方法 · 查看原书依据
当分枝变量为类别型变量,并且一共有q 个属性时,有2q-1-1种可能将其分成两部分。如果q取值较大,会使得计算量激增,对于因变量是0—1二分类的情况,计算量可以简化。我们可以把预测变量的类别按照它在1类中的比例排序,然后将其视为一个顺序变量
参考来源
- 位置:《大数据挖掘与统计机器学习》第5章 决策树与组合方法(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter7_0001.xhtml,5.1.3 需要说明的一些问题)
- 结论依据:原文讨论类别变量二分的组合数、按 1 类比例排序可达到与穷举一致的结果,以及把缺失当作新类别和构造替代变量两种处理方式。
- 原始内容:当分枝变量为类别型变量,并且一共有q 个属性时,有2q-1-1种可能将其分成两部分。如果q取值较大,会使得计算量激增,对于因变量是0—1二分类的情况,计算量可以简化。我们可以把预测变量的类别按照它在1类中的比例排序,然后将其视为一个顺序变量