知识卡片
决策树的三要素
决策树把”一串 if-else 判断”组织成树:内部节点是对某个特征的一次提问,分支是该特征的取值,叶子给出预测结果。分类时从根节点一路往下走,走到哪个叶子就用哪个叶子的类别;回归时叶子输出的是数值。
建树要解决三件事,缺一不可:
- 特征选择:每一步该用哪个特征、按什么标准挑。凭肉眼看数据在小样本上可行,样本上万、特征上百时必须有可计算的准则,于是有了信息增益、信息增益比、基尼系数。
- 决策树生成:按选中的特征把数据切分,对每个子集递归重复,直到满足停止条件。
- 决策树剪枝:分叉过细会记住训练集的噪声,剪掉一部分子树换取泛化能力。
三种主流实现(ID3、C4.5、CART)的差异,主要就落在”用哪个准则选特征”和”怎么切分”上,骨架完全一致。预测阶段的成本很低——只需从根走一条路径,计算量与树的深度成正比,与训练集大小无关。这也是它后来成为 [[决策树的优缺点与集成基模型]] 中所说集成方法基模型的原因之一。
结构图:
flowchart TD
A[训练数据] --> B[特征选择 增益或基尼]
B --> C{够纯或该停?}
C -->|否| D[按选中特征切分数据]
D --> C
C -->|是| E[叶子节点取多数类或均值]
E --> F[剪枝 压低复杂度]
F --> G[预测 根到叶一条路径]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第06章 决策树
原书出处 · 1 处
- 第6章 决策树 6.1 概述 · 查看原书依据
不同决策树之间可能存在一些差异,但总体来说,各种决策树的主体思想大同小异,都主要涉及三要素,分别是特征选择、决策树的生成和决策树的剪枝,下面一一介绍。
参考来源
- 位置:《机器学习基础:从入门到求职》第6章《决策树》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00009.html)
- 结论依据:原文在举完贷款逾期例子后指出,各类决策树"主体思想大同小异",都涉及特征选择、生成、剪枝三要素,后文三节即按此顺序展开。
- 原始内容:不同决策树之间可能存在一些差异,但总体来说,各种决策树的主体思想大同小异,都主要涉及三要素,分别是特征选择、决策树的生成和决策树的剪枝,下面一一介绍。