← 返回刚才阅读的位置

知识卡片

结构图卡 · 9840.a · 生成模型:Hunyuan

决策树算法框架:四部件递归生长

理解等级:中级

各种决策树的主函数都是递归函数:输入带标签的数据集,按某种规则选出最优划分特征并建节点,按该特征的取值把数据集切成若干部分,据此生长出新分支,再检查终止条件;不满足就把子集与标签送入下一轮递归。

围绕主函数还有三个部件。计算最优特征子函数决定“切哪一列”,不同算法正是这里不同——ID3 用信息增益、C4.5 用信息增益率、CART 用节点方差。划分数据集函数负责实际切分:有的删掉被切的特征列、返回剩余数据,有的把数据一分为二。分类器则让测试样本沿树走到某个叶子,把叶子的类别标签作为预测结果返回。

四个部件把“长树”与“用树”分开:训练阶段反复调用前三者,预测阶段只走分类器。两个终止条件——样本同类、无特征可切——决定了递归在哪里停下,否则树会无限生长。

结构图:

flowchart TD
  A[输入数据集与类别标签] --> B{样本是否同类}
  B -->|是| C[返回该类别 叶子]
  B -->|否| D{是否还有特征}
  D -->|否| E[返回多数类别 叶子]
  D -->|是| F[选最优特征并划分数据集]
  F --> G[对每个取值递归建子树]
  G --> B
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 决策树的发展 · 查看原书依据

      各种决策树的主函数都大同小异,本质上是一个递归函数。该函数的主要功能是按照某种规则生长出决策树的各个分支节点,并根据终止条件结束算法。一般来讲,主函数需要完成如下几个功能。

    参考来源

    - 位置:《机器学习算法原理与编程实践》第3章 决策树的发展(源文件:extracted/机器学习算法原理与编程实践/_epub-src/OEBPS/text00013.html) - 结论依据:原文逐条列出主函数要完成的六项功能,明确最优特征标准是区分 ID3、C4.5、CART 的关键,并说明分类器通过遍历到叶子返回标签,支撑四部件分工与终止条件的解释。 - 原始内容:各种决策树的主函数都大同小异,本质上是一个递归函数。该函数的主要功能是按照某种规则生长出决策树的各个分支节点,并根据终止条件结束算法。一般来讲,主函数需要完成如下几个功能。