知识卡片
ID3 每一步只选当前最优
ID3 是一个递归的贪心过程,终止条件只有两条:当前数据只剩一种标签,就造叶节点结束;没有可问的属性了,就用多数标签造叶节点结束。否则对每个剩余属性算划分熵,选最小的那个建决策节点,再在每个子集上递归,且已用过的属性不再复用。贪心的代价是短视:有的树第一步看起来很差、整体却很好,这个算法永远找不到它。它的价值在于简单、可解释、容易实现,作为起点足够。这两条终止条件也解释了树为什么会一路长到把训练集完全分开。
结构图:
flowchart TD
A["当前数据集与候选属性"] --> B{"标签全同?"}
B -->|是| C["叶节点:该标签"]
B -->|否| D{"还有属性可问?"}
D -->|否| E["叶节点:多数标签"]
D -->|是| F["算每个属性的划分熵"]
F --> G["选熵最小的属性建节点"]
G --> H["各子集递归,属性不再复用"]
H --> A
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第17章 决策树
原书出处 · 1 处
- 第17章 决策树 · 查看原书依据
这就是所谓的“贪婪”算法,因为它在每一步都会选择最快最好的选项。在给定数据集的情况下,有的树的第一步看起来很差,但结果表现得很棒。
参考来源
- 位置:《数据科学入门(第2版)》第17章 决策树(源文件:extracted/数据科学入门(第2版)/_epub-src/OEBPS/Text/0021.xhtml)
- 结论依据:原文这一段直接给出本卡的核心判断:「这就是所谓的“贪婪”算法,因为它在每一步都会选择最快最好的选项……」
- 原始内容:这就是所谓的“贪婪”算法,因为它在每一步都会选择最快最好的选项。在给定数据集的情况下,有的树的第一步看起来很差,但结果表现得很棒。