知识卡片
决策树的构建流程
递归建树的四步循环: 1. 检查当前节点是否已纯:所有记录同类,或纯度超过阈值,则标为叶子; 2. 否则对每个候选属性计算信息增益(或基尼下降),选最大者; 3. 按该属性的取值把数据切成若干子集,每个子集生成一个子节点; 4. 对每个子节点重复上述过程。
终止条件(满足任一即停):节点达到最小纯度阈值;没有属性还能带来足够增益;树达到最大深度;节点样本数低于下限。
输出形态:叶子给出类别标签或概率,整棵树可转成 if-then 规则集。图中省略了连续属性的处理——它会在第 2 步之前把取值排序、取相邻中点作为候选切点,再参与增益比较。
要点:每一步的最优属性只对当前节点的数据子集成立,换一个子集就要重算,所以整棵树不是一次全局优化出来的。
结构图:
flowchart TD
A[训练集 S] --> B[计算各属性信息增益]
B --> C[选增益最大的属性]
C --> D[按取值划分子集]
D --> E{满足停止条件}
E -- 否 --> B
E -- 是 --> F[叶子节点标类别]
F --> G[转写为 if-then 规则]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第7章 高级分析理论与方法:分类 · 查看原书依据
通常情况下,决策树算法的目的是从训练集S中建立树T。如果S中的所有记录都属于类别C(例如subscribed = yes),或者如果S足够纯净(大于预设的阈值),那么节点就会被作为叶子节点,并为其分配标签C。
参考来源
- 位置:《数据科学与大数据分析 数据的发现 分析 可视化与表示》第7章 高级分析理论与方法:分类(源文件:extracted/数据科学与大数据分析 数据的发现 分析 可视化与表示/_epub-src/text/part0017_split_001.html)
- 结论依据:7.1.2 节通用算法:节点纯净则成为叶子,否则选信息量最大的属性递归建子树,直到满足纯净度、增益或深度等停止标准。
- 原始内容:通常情况下,决策树算法的目的是从训练集S中建立树T。如果S中的所有记录都属于类别C(例如subscribed = yes),或者如果S足够纯净(大于预设的阈值),那么节点就会被作为叶子节点,并为其分配标签C。