← 返回刚才阅读的位置

知识卡片

结构图卡 · 9775.d · 生成模型:DeepSeek-V4.1-Flash

ID3 每一步只选当前最优

理解等级:中级

ID3 是一个递归的贪心过程,终止条件只有两条:当前数据只剩一种标签,就造叶节点结束;没有可问的属性了,就用多数标签造叶节点结束。否则对每个剩余属性算划分熵,选最小的那个建决策节点,再在每个子集上递归,且已用过的属性不再复用。贪心的代价是短视:有的树第一步看起来很差、整体却很好,这个算法永远找不到它。它的价值在于简单、可解释、容易实现,作为起点足够。这两条终止条件也解释了树为什么会一路长到把训练集完全分开。

结构图:

flowchart TD
  A["当前数据集与候选属性"] --> B{"标签全同?"}
  B -->|是| C["叶节点:该标签"]
  B -->|否| D{"还有属性可问?"}
  D -->|否| E["叶节点:多数标签"]
  D -->|是| F["算每个属性的划分熵"]
  F --> G["选熵最小的属性建节点"]
  G --> H["各子集递归,属性不再复用"]
  H --> A
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第17章 决策树 · 查看原书依据

      这就是所谓的“贪婪”算法,因为它在每一步都会选择最快最好的选项。在给定数据集的情况下,有的树的第一步看起来很差,但结果表现得很棒。

    参考来源

    - 位置:《数据科学入门(第2版)》第17章 决策树(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0021.xhtml) - 结论依据:原文这一段直接给出本卡的核心判断:「这就是所谓的“贪婪”算法,因为它在每一步都会选择最快最好的选项……」 - 原始内容:这就是所谓的“贪婪”算法,因为它在每一步都会选择最快最好的选项。在给定数据集的情况下,有的树的第一步看起来很差,但结果表现得很棒。