← 返回刚才阅读的位置

知识卡片

结构图卡 · 9827 · 生成模型:DeepSeek-V4.1-Flash

决策树的三要素

理解等级:初级

决策树把”一串 if-else 判断”组织成树:内部节点是对某个特征的一次提问,分支是该特征的取值,叶子给出预测结果。分类时从根节点一路往下走,走到哪个叶子就用哪个叶子的类别;回归时叶子输出的是数值。

建树要解决三件事,缺一不可:

  1. 特征选择:每一步该用哪个特征、按什么标准挑。凭肉眼看数据在小样本上可行,样本上万、特征上百时必须有可计算的准则,于是有了信息增益、信息增益比、基尼系数。
  2. 决策树生成:按选中的特征把数据切分,对每个子集递归重复,直到满足停止条件。
  3. 决策树剪枝:分叉过细会记住训练集的噪声,剪掉一部分子树换取泛化能力。

三种主流实现(ID3、C4.5、CART)的差异,主要就落在”用哪个准则选特征”和”怎么切分”上,骨架完全一致。预测阶段的成本很低——只需从根走一条路径,计算量与树的深度成正比,与训练集大小无关。这也是它后来成为 [[决策树的优缺点与集成基模型]] 中所说集成方法基模型的原因之一。

结构图:

flowchart TD
    A[训练数据] --> B[特征选择 增益或基尼]
    B --> C{够纯或该停?}
    C -->|否| D[按选中特征切分数据]
    D --> C
    C -->|是| E[叶子节点取多数类或均值]
    E --> F[剪枝 压低复杂度]
    F --> G[预测 根到叶一条路径]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第6章 决策树 6.1 概述 · 查看原书依据

      不同决策树之间可能存在一些差异,但总体来说,各种决策树的主体思想大同小异,都主要涉及三要素,分别是特征选择、决策树的生成和决策树的剪枝,下面一一介绍。

    参考来源

    - 位置:《机器学习基础:从入门到求职》第6章《决策树》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00009.html) - 结论依据:原文在举完贷款逾期例子后指出,各类决策树"主体思想大同小异",都涉及特征选择、生成、剪枝三要素,后文三节即按此顺序展开。 - 原始内容:不同决策树之间可能存在一些差异,但总体来说,各种决策树的主体思想大同小异,都主要涉及三要素,分别是特征选择、决策树的生成和决策树的剪枝,下面一一介绍。