知识卡片
决策树算法框架:四部件递归生长
各种决策树的主函数都是递归函数:输入带标签的数据集,按某种规则选出最优划分特征并建节点,按该特征的取值把数据集切成若干部分,据此生长出新分支,再检查终止条件;不满足就把子集与标签送入下一轮递归。
围绕主函数还有三个部件。计算最优特征子函数决定“切哪一列”,不同算法正是这里不同——ID3 用信息增益、C4.5 用信息增益率、CART 用节点方差。划分数据集函数负责实际切分:有的删掉被切的特征列、返回剩余数据,有的把数据一分为二。分类器则让测试样本沿树走到某个叶子,把叶子的类别标签作为预测结果返回。
四个部件把“长树”与“用树”分开:训练阶段反复调用前三者,预测阶段只走分类器。两个终止条件——样本同类、无特征可切——决定了递归在哪里停下,否则树会无限生长。
结构图:
flowchart TD
A[输入数据集与类别标签] --> B{样本是否同类}
B -->|是| C[返回该类别 叶子]
B -->|否| D{是否还有特征}
D -->|否| E[返回多数类别 叶子]
D -->|是| F[选最优特征并划分数据集]
F --> G[对每个取值递归建子树]
G --> B
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第3章 决策树的发展 · 查看原书依据
各种决策树的主函数都大同小异,本质上是一个递归函数。该函数的主要功能是按照某种规则生长出决策树的各个分支节点,并根据终止条件结束算法。一般来讲,主函数需要完成如下几个功能。
参考来源
- 位置:《机器学习算法原理与编程实践》第3章 决策树的发展(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00013.html)
- 结论依据:原文逐条列出主函数要完成的六项功能,明确最优特征标准是区分 ID3、C4.5、CART 的关键,并说明分类器通过遍历到叶子返回标签,支撑四部件分工与终止条件的解释。
- 原始内容:各种决策树的主函数都大同小异,本质上是一个递归函数。该函数的主要功能是按照某种规则生长出决策树的各个分支节点,并根据终止条件结束算法。一般来讲,主函数需要完成如下几个功能。