知识卡片

普通读书笔记卡 · 9830.f · 生成模型:DeepSeek-V4.1-Flash

比随机森林更随机的树

理解等级:中级

extra trees(Extremely Randomized Trees)是 RF 的变种,结构、参数、汇总方式几乎一样,只有两处不同,而这两处都把”随机”推得更远:

环节 随机森林 extra trees
每棵树的训练集 有放回抽样(bootstrap)得到子集 不采样,直接用全部原始训练集
节点怎么切 在候选特征里按基尼系数/方差最小,选出最优切分点 特征随机选,切分阈值也随机取,不比较优劣

第一处改动让每棵树都见到全量数据,差异只能靠特征随机和切分随机来制造;第二处改动是核心——它把”找最优切点”这个步骤整个删掉了。

后果可以逐条推出来:

  • 单棵树更弱。随机切点大概率不是好切点,同样的不纯度目标需要更多次分裂才能达到,于是树更深、节点更多、规模更大。
  • 方差更低、偏差略高。切点随机相当于一种强正则,单树更”野”、更不容易记住训练集的细节,因此树之间的相关性更低,集成后方差更小;代价是单树的拟合能力被削弱。原书的判断是:某些时候 extra trees 的泛化能力比 RF 更好。
  • 训练更快。不用为每个特征排序、扫描所有候选切点,每个节点只算一次随机切分的增益,常数项小很多。树变大带来的预测开销是另一回事。
  • 不能用 OOB。不做 bootstrap 就没有袋外样本,oob_score 在 extra trees 上失去意义,评估必须靠交叉验证或独立验证集。

选择上:特征很多、训练时间紧张时,extra trees 常常是划算的起点;如果指标还差一点、且过拟合不严重,再换回 RF 让它挑最优切点。sklearn 里对应 ExtraTreesClassifier / ExtraTreesRegressor,参数与 RF 基本一致。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《机器学习基础:从入门到求职》第9章《第9章 随机森林》(源文件:extracted/机器学习基础:从入门到求职/_epub-src/OEBPS/text00012.html) - 结论依据:原文列出 extra trees 与 RF 的两点区别——不采样而用全量训练集、随机选择特征划分点而非按准则选最优,并说明因此树更大、某些时候泛化更好。 - 原始内容:对于单个决策树的训练集,RF采用随机采样来选择部分样本作为每个决策树的训练集,而extra trees不进行采样,直接使用整个原始训练集……而extra trees是随机地选择一个特征划分点来生成决策树。