知识卡片
连续属性按中点切分
决策树可以接受连续输入,但分裂必须变成“大于某阈值 / 不大于某阈值”的二选一,因此算法要在连续轴上找一个切点。
朴素做法:把训练集中该属性的每一个出现过的值都当作候选切点,逐一试算信息增益。这等于对每个值做一次排序与统计,代价高,而且相邻值之间的大量位置其实没有区别。
改进做法:先把取值排序,只取相邻两个不同取值的中点作为候选。例如取值排序后为 140、160、180、200,候选切点就是 150、170、190。最优切点必定落在某个相邻值之间,所以这样做不损失最优性,却把候选数从取值个数降到不同取值个数减一。
注意: - 只对训练集中出现过的区间负责,超出范围的取值沿用边界叶子的判断; - 切点由当前节点的局部数据决定,换一个数据子集,同一属性的切点会变; - 类别型属性按取值组合划分,取值很多时容易切得过碎。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 高级分析理论与方法:分类 · 查看原书依据
这种暴力破解方法的计算效率很低下。为了降低计算复杂度,训练记录可以根据通话持续时间进行排序,并将两个相邻的已排序的值之间的中点作为候选的分裂点。
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第7章 高级分析理论与方法:分类(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0017_split_001.html)
- 结论依据:7.1.2 节讨论 duration 连续变量:暴力枚举每个值效率低,改为排序后取相邻值中点作为候选切点。
- 原始内容:这种暴力破解方法的计算效率很低下。为了降低计算复杂度,训练记录可以根据通话持续时间进行排序,并将两个相邻的已排序的值之间的中点作为候选的分裂点。