知识卡片
比随机森林更随机的树
extra trees(Extremely Randomized Trees)是 RF 的变种,结构、参数、汇总方式几乎一样,只有两处不同,而这两处都把”随机”推得更远:
| 环节 | 随机森林 | extra trees |
|---|---|---|
| 每棵树的训练集 | 有放回抽样(bootstrap)得到子集 | 不采样,直接用全部原始训练集 |
| 节点怎么切 | 在候选特征里按基尼系数/方差最小,选出最优切分点 | 特征随机选,切分阈值也随机取,不比较优劣 |
第一处改动让每棵树都见到全量数据,差异只能靠特征随机和切分随机来制造;第二处改动是核心——它把”找最优切点”这个步骤整个删掉了。
后果可以逐条推出来:
- 单棵树更弱。随机切点大概率不是好切点,同样的不纯度目标需要更多次分裂才能达到,于是树更深、节点更多、规模更大。
- 方差更低、偏差略高。切点随机相当于一种强正则,单树更”野”、更不容易记住训练集的细节,因此树之间的相关性更低,集成后方差更小;代价是单树的拟合能力被削弱。原书的判断是:某些时候 extra trees 的泛化能力比 RF 更好。
- 训练更快。不用为每个特征排序、扫描所有候选切点,每个节点只算一次随机切分的增益,常数项小很多。树变大带来的预测开销是另一回事。
- 不能用 OOB。不做 bootstrap 就没有袋外样本,
oob_score在 extra trees 上失去意义,评估必须靠交叉验证或独立验证集。
选择上:特征很多、训练时间紧张时,extra trees 常常是划算的起点;如果指标还差一点、且过拟合不严重,再换回 RF 让它挑最优切点。sklearn 里对应 ExtraTreesClassifier / ExtraTreesRegressor,参数与 RF 基本一致。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第9章 随机森林 9.3 RF的推广——extra trees · 查看原书依据
而extra trees是随机地选择一个特征划分点来生成决策树
参考来源
- 位置:《机器学习基础:从入门到求职》第9章《第9章 随机森林》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00012.html)
- 结论依据:原文列出 extra trees 与 RF 的两点区别——不采样而用全量训练集、随机选择特征划分点而非按准则选最优,并说明因此树更大、某些时候泛化更好。
- 原始内容:对于单个决策树的训练集,RF采用随机采样来选择部分样本作为每个决策树的训练集,而extra trees不进行采样,直接使用整个原始训练集……而extra trees是随机地选择一个特征划分点来生成决策树。