知识卡片
ID3生成决策树的四步流程
ID3生成决策树是一个自上而下的递归过程,可拆成四步: (1)开始,把所有记录的特征都看作一个节点; (2)遍历每个变量的每一种分割方式,在ID3里就是计算每个特征的信息增益,选最大的特征作分割点; (3)按该分割点把数据分成两个子节点N1和N2; (4)对N1和N2分别重复第2、3步,直到每个节点的数据足够“一致”为止。 用途上,这套流程把“如何把一棵树长出来”变成可执行的算法。边界在于:递归停止依赖“数据足够一致”,若始终无法完全一致就会一直分裂,这正是需要剪枝的原因;而且它只做单一最优特征划分,不回溯。反例是遇到连续特征(日期)时,每个值都唯一,递归要么停不下来,要么长出无意义的树。可迁移启发是:任何递归拆解任务都要先定义“何时停止”,否则会无限细化。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 最容易理解的分类算法:决策树 5.3.1 ID3算法 · 查看原书依据
掌握决策树的节点挑选方法以后,构建决策树的第二步是决策树生成。根据选择特征的标准,从上至下递归生成子节点,直到数据集不可分则决策树停止生长。
参考来源
- 位置:《产品经理进阶:100个案例搞懂人工智能 (林中翘)》第5章《最容易理解的分类算法:决策树》(源文件:`../../book-sources/extracted/产品经理进阶:100个案例搞懂人工智能 (林中翘)/_epub-src/OEBPS/text00010.html`,来源项目 a19c7933-4eda-4176-aebd-30fe7e1ad292)
- 结论依据:原文5.3.1节列出ID3生成决策树的四个基本步骤——“把所有记录的特征都看作一个节点”“遍历分割方式、计算信息增益选最大”“分割成两个节点N1和N2”“递归直到每个节点数据足够一致”,支撑本卡对生成流程的拆解。
- 原始内容:掌握决策树的节点挑选方法以后,构建决策树的第二步是决策树生成。根据选择特征的标准,从上至下递归生成子节点,直到数据集不可分则决策树停止生长。